☰

처음 실행 시 cp가 rsync보다 빠르나요?

tag-icon • tag-icon ubuntu rsync cp ssd large-files
처음 실행 시 cp가 rsync보다 빠르나요?

저는 현재 이를 사용하여 rsync삼성 휴대용 SSD T7에서 HPC 클러스터로 73GB 파일을 복사하고 있습니다.

rsync -avh path/to/dataset [email protected]:/path/to/dest

다음이 적용됩니다:

  1. 내 로컬 컴퓨터(T7이 연결된)는 Ubuntu 20을 실행하는 VirtualBox VM입니다.
  2. T7 전송 속도는 최대 약 2.5km여야 합니다. 1000MB/초
  3. 네트워크는 약 7.9Mbps의 업로드 속도를 제공했습니다.
  4. 이에 따르면 Rsync 전송 속도는 병목 현상을 1-5MB/s로 제한할 수 있습니다.답변.

문제는 9시간이 지나도록 이동이 완료되지 않았다는 점이다. ~에 따르면1, cp빈 디렉토리를 사용하는 것이 더 좋습니다(처음). 나는 이것이 사실인지 이해하지 못합니다. 누군가 이것을 설명할 수 있나요?

답변1

당신이 그렇게 말하는데,

  1. 네트워크 속도는 약 8Mb/s입니다.
  2. rsync약 1-5MB/s로 실행 되고 있습니다 .

1MB/s가 약 10Mb/s라는 점을 감안하면 이것이 rsync큰 도움이 될 것입니다.

나, 나는 아마도 압축을 추가할 것이고 -z, rsync네트워크 연결에서 적절한 플래그를 사용하고 있으므로 중단하고 압축을 다시 시작할 수도 있습니다. 중단된 부분부터 계속됩니다.

간단히 계산해 보세요. 73GB는 73,000MB * 또는 730,000Mb ‡ 입니다 . 에 대한. 네트워크 속도는 8Mb/s입니다. 즉, 복사하는 데 약 730,000/8 = 91,250초가 소요됩니다. 이론적으로 네트워크 대역폭을 최대로 사용한다고 가정하면 25시간입니다.

* 왜 1024:1이 아닌 1000:1인가요? 부분적으로는 GB:MB가 엄격하게 1000:1이기 때문이지만 대부분은 근사치이기 때문입니다
. ‡ 8비트에서 1바이트에 대해 8:1 대신 10:1을 권장하는 이유는 무엇입니까? 여기에는 두 가지 이유가 있습니다. (a) 이는 O(n) 근사치이고, (b) 패킷/프로토콜 오버헤드를 고려해야 합니다.

이제 질문에 정확히 대답해 보세요. 예: "처음 실행 시 cp가 rsync보다 빠르나요?"사용하는 경우 cp로컬 서버와 원격 서버 간의 전송을 관리할 수 있는 것이 필요합니다. 이는 sshfsNFS와 같을 수도 있고 scp.

  1. cpNFS를 통해 마운트된 파일 시스템. 잘 조정된 네트워크를 사용하면 이는 매우 효과적일 수 있습니다.
  2. cp초과하다 sshfs. 여기에는 암호화 오버헤드뿐만 아니라 ssh파일 시스템 FUSE에 의해 구현된 커널과 사용자 공간 간의 변환도 포함됩니다. 효율성이 낮습니다.
  3. scp(암시적 끝 ssh). 여기에는 의 암호화 오버헤드가 포함됩니다 ssh. 허용되며 링크 압축을 통해 추가 이점을 얻을 수 있습니다( -C).
  4. rsync( ssh우리가 언급하지 않았기 때문에 암시적으로 종료되었습니다 rsyncd). 여기에는 의 암호화 오버헤드가 포함됩니다 ssh. 허용되며 프로토콜 압축의 이점을 더 누릴 수 있습니다( -z).

나는 정량적인 성과 측정을 하지 않았습니다. 이것은 정성적인 평가였습니다. 그러나 다음과 같은 답변의 의견을 참고하십시오.scp가 왜 그렇게 느리고 어떻게 더 빠르게 만들 수 있나요?, 공정하기는 하지만 이는 하나의 큰 파일이 아닌 여러 파일의 비교 전송 속도에 대해 이야기합니다.

그러나 rsync네트워크를 통해 연결하면 다시 시작할 수 있다는 장점이 있습니다. --partial전송 중에도 올바른 플래그(즉)가 있습니다. 73GB 파일의 경우 전송 시간은 약 25시간으로 이는 엄청난 잠재적 이점입니다.

관련 정보