rsync가 증분 전송을 수행하지 않는 이유

약 77MB의 바이너리 파일이 있습니다.

nupic@nupic-virtualbox:~/VboxSharedFolder/experiments/sync/exp2$ ls -lah src/
total 77M
drwxrwx--- 1 root vboxsf    0 Jun 21 13:31 .
drwxrwx--- 1 root vboxsf 4.0K Jun 21 16:21 ..
-rwxrwx--- 1 root vboxsf  77M May 27  2014 binary.bin

rsync나는 그것이 어떻게 작동하는지 알아보기 위해 증분 알고리즘 기능을 가지고 놀았습니다 . 아이디어는 바이너리 파일에 작은 차이를 만들고 다양한 방법을 사용하여 얼마나 많은 데이터가 전송되는지 확인하는 것입니다. 이러한 목적을 위해 저는 매우 간단한 스크립트를 만들었습니다.

#!/bin/bash
# rsync does not trnansfers delta over local by default
sed 's%\x00\x00\x00\x20\x66\x74\x79\x70\x69\x73\x6f\x6d\x00\x00\x02\x00%\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11%' src/binary.bin > dst/binary.bin
strace -f -e trace=read,write -o rw_rsync_local_default.log rsync -avcz --progress src/ dst/

# rsync -no-W should enables delta tranfer no matter if local or remote
sed 's%\x00\x00\x00\x20\x66\x74\x79\x70\x69\x73\x6f\x6d\x00\x00\x02\x00%\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11%' src/binary.bin > dst/binary.bin
strace -f -e trace=read,write -o rw_rsync_local_delta_enabled.log rsync --no-W -avcz --progress src/ dst/

# rsync trnansfers delta over network by default
sed 's%\x00\x00\x00\x20\x66\x74\x79\x70\x69\x73\x6f\x6d\x00\x00\x02\x00%\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11%' src/binary.bin > dst/binary.bin
strace -f -e trace=read,write -o rw_rsync_remote.log rsync -avcz -e "ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null" --progress src/ nupic@localhost:/home/nupic/VboxSharedFolder/experiments/sync/exp2/dst/

# scp should transfers whole file not delta
sed 's%\x00\x00\x00\x20\x66\x74\x79\x70\x69\x73\x6f\x6d\x00\x00\x02\x00%\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11%' src/binary.bin > dst/binary.bin
strace -f -e trace=read,write -o rw_scp.log scp src/binary.bin nupic@localhost:/home/nupic/VboxSharedFolder/experiments/sync/exp2/dst/

# cp always transfers whole file not delta
sed 's%\x00\x00\x00\x20\x66\x74\x79\x70\x69\x73\x6f\x6d\x00\x00\x02\x00%\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11\x11%' src/binary.bin > dst/binary.bin
strace -f -e trace=read,write -o rw_cp.log cp src/binary.bin dst/binary.bin

그런 다음 결과를 평가하기 위해 다음 루프가 있습니다.

for i in *.log; do
  echo $i; cat $i | grep write | awk 'BEGIN {FS="="}{ sum += $2} END {print sum/1024/1024 "MB"}';
  echo "###########";
done

결과는 다음과 같습니다.

rw_cp.log
67.8075MB
###########
rw_rsync_local_default.log
146.697MB
###########
rw_rsync_local_delta_enabled.log
66.8765MB
###########
rw_rsync_remote.log
0.0707941MB
###########
rw_scp.log
136.048MB
###########

이 다섯 가지 실험에서 나에게는 두 가지만 분명해졌습니다.

1. cp쓴 바이트 수는 원본 파일의 크기( rw_cp.log)와 거의 같습니다.
2. rsync대상이 원격(네트워크를 통해)인 경우 증분 알고리즘( rw_rsync_remote.log) 을 사용합니다.

나에게 불분명한 내용은 다음과 같습니다.

3. rsyncBoth src및 dston localhostwrite에 대한 호출이 원래 파일 크기(바이트)의 약 두 배인 이유는 무엇입니까 ? ( rw_rsync_local_default.log)
4. --no-W옵션이 지정된 rsync대로 src델타 만 전송하지 않는 이유dstlocalhost여기왜 여전히 전체 파일을 전송하고 있습니까? ( rw_rsync_local_delta_enabled.log)
5. 보너스 팁: scp전송된 바이트 수가 원래 파일 크기의 약 두 배인 이유는 무엇입니까? 일부 암호화가 있다는 것을 알고 있지만 두 번은 나에게 큰 문제처럼 보입니다( rw_scp.log).