변경 로그가 더 빨리 누적되도록 rsync 작업을 여러 부분으로 나누는 방법을 알고 싶습니다. 상황은 하나의 스토리지 플랫폼에서 새로운 스토리지 플랫폼으로 마이그레이션하는 것입니다. 2.5mm 파일이 들어 있는 커다란 플랫 디렉토리가 있습니다. rsync 변경 로그는 현재 완료하는 데 며칠이 걸립니다. 여러 개의 txt 파일을 각각 약 100,000개의 파일로 나눈 다음 다른 서버에서 이러한 텍스트 파일에 대해 여러 rsync 작업을 실행하고 싶습니다.
내 쉘 스크립팅 게임은 매우 약합니다. 100,000개 파일에 대해 "ls"를 수행하고 이를 txt 파일로 파이프한 다음 이 디렉토리의 모든 파일이 표시될 때까지 다음 100,000개 파일 세트를 선택하는 방법을 아는 사람이 있습니까? 25개의 txt 파일 중 하나에 저장됩니다.
또는 누군가 rsync보다 더 좋은 아이디어가 있다면 듣고 싶습니다.
답변1
찾고 있는 25개의 파일을 생성하려면...
$ find /lots/of/files | split -d -l 100000
이렇게 하면 각각 100,000줄을 포함하는 파일이 생성됩니다. 할 수 있는 일이 더 많이 있으므로 split맨페이지를 확인하십시오. , , ... -d처럼 알파벳순이 아닌 숫자순으로 이름이 지정됩니다 .x01x02x25
여기에서 파일을 반복하고 rsync를 실행할 수 있습니다.
for file in x*
do
# Run rsync command using $file as the change list
done
화타이