내 rsync가 왜 그렇게 느린가요?

2024-5-23 • tag-icon

저는 100MBit 연결을 통해 ~4,500만 개의 파일/~1.8TB의 데이터(Mac OS X Time Machine 백업)를 전송하는 rsync 작업을 실행하고 있습니다.

저는 MacPorts의 rsync 3.1.1을 사용하고 있습니다(처음에는 내장된 rsync 버전 2.6.9에 Mac OS X 특정 캐시 매개변수가 있었기 때문에 시도했지만 메모리가 부족합니다).

rsync -HzvhErlptgoDW --stats --progress --out-format="%t %f %b" /source/ /destination/

소스는 Firewire 800에 연결된 외부 3.5" HDD입니다. 대상은 로컬로 마운트된 스파스 디스크 이미지 패키지입니다(그러나 해당 "소스 파일"은 네트워크 저장소에 있습니다). 처음에는 7-9MB/의 좋은 속도를 얻습니다. s 비슷한 파일의 경우 좋습니다. 하지만 이 작업이 길어질수록(3일 전에 다시 시작했습니다) 속도가 느려지고 다음과 같이 아무 일도 일어나지 않으면 긴 일시 중지가 발생합니다.

2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/Mask3.png
          1.28K 100%    3.26kB/s    0:00:00 (xfr#48406, ir-chk=1050/4166332)
2016/01/16 18:26:48 Volumes/src/Backups.backupdb/mm/2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/Mask3.png 313
2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/banner-green.jpg
         32.26K 100%    0.00kB/s    0:00:00 (xfr#48407, ir-chk=1049/4166332)
2016/01/16 19:17:37 Volumes/2TB/Backups.backupdb/mm/2011-01-22-070305/Macintosh HD/Library/Application Support/Apple/Mail/Stationery/Apple/Contents/Resources/Photos/Contents/Resources/Bamboo.mailstationery/Contents/Resources/banner-green.jpg 31279

(타임스탬프를 굵게 표시할 수는 없지만 보시다시피 첫 번째 파일은 18:26에 끝났고 두 번째 파일은 19:17에 끝났으며 두 번째 파일은 32kB에 불과합니다)

전송이 CPU에 묶여 있다고 생각하지 않습니다. 일부 CPU 스파이크가 있지만 CPU 로드는 일반적으로 10% 미만입니다. 전체적으로 이 작업으로 생성된 세 개의 rsync 프로세스는 전송이 발생한 72시간 동안 거의 5시간의 CPU 시간을 사용했습니다. 컴퓨터 자체는 하루 23시간 동안 유휴 상태로 유지됩니다.

메모리도 문제가 되지 않습니다. 작업이 시작된 이후 메모리 압력이 "녹색"이었습니다.

커널 작업은 꽤 많은 CPU 시간을 축적했지만(이 글을 쓰는 동안 57시간) 가동 시간은 25일이며 rsync가 이 57시간을 모두 소비할 수 있는 방법은 없습니다.

몇 가지 최종 세부정보

더 나은 로깅을 위해 3일 전에 다시 시작했을 때 프로세스가 며칠 동안 실행 중이었습니다. 첫 번째 파일 전송에는 9시간이 걸렸습니다.
먼저 Finder를 사용하여 이 디렉터리 트리를 동일한 소스에서 동일한 대상으로 전송합니다. 총 3일이 걸렸습니다. 지금까지 6일을 보냈는데 나무의 3분의 1도 이동하지 못한 것 같습니다.
이 작업 외에 동일한 소스와 대상 간에 파일 전송을 시도했는데 최고 속도로 실행되었습니다.

답변1

로컬에 설치된 스파스 디스크 이미지 패키지를 대상으로 합니다.(그러나 "소스 파일"은 네트워크 저장소에 있습니다).

이것이 당신의 문제입니다. 로컬 컴퓨터와 네트워크 저장소(예: SMB, AFP, NFS 등) 간에 데이터를 다시 전달하는 프로토콜에서는 성능이 저하되며 이는 일반적인 함정입니다.

Rsync는 전송할 비트를 확인하기 위해 각 파일을 읽어야 합니다(날짜 시간이 다른 경우). 귀하의 경우 파일 시스템이 당기고 있습니다.전체 파일rsync를 읽기 전에 네트워크 저장소에서 로컬 Mac으로 전송하세요. 속도가 느려지고 있습니다.

NB 웹 지원에 대해 명확하게 설명해 주셔서 정말 감사합니다.

답변1

관련 정보