백업 gzip 파일에 디렉터리 동기화

목표: 효율적인 백업 ~/dircontaininginnumeraltinyfiles/및 /mnt/server/backups/dir.tgz. 그러나 나는 다른 경로에도 열려 있습니다.

(원하는 백업 프로세스가 끝나면 /mnt/server/backups/dir.tgz전체 백업, 즉 마지막 백업 이후 변경된 파일뿐만 아니라 모든 파일을 포함하는 전체 백업이 수행됩니다. 간단히 말해서 압축과 백업을 모두 수행하는 방법을 찾고 있습니다. ) 보다 더 효율적인 솔루션 단계를 전송합니다 tar -cvzf /mnt/server/backups/dir.tgz ~/localdir/.

모든 파일을 로컬에서 생성하는 것은 바람직하지 않습니다(예: 로컬 .tgz 백업 및 후속 서버 동기화). 대신 모든 로컬 콘텐츠는 파이프를 통해 메모리에만 저장됩니다.

명확히 하자면, 단순히 디렉토리를 로컬 웹 서버에 재동기화하고 싶지 않은 이유는 소스 디렉토리에 셀 수 없이 많고 압축률이 높은 작은 파일이 포함되어 있기 때문입니다. 따라서 백업 목적으로는 전체적으로 작은 단일 .tgz 파일이 매우 유용합니다.

즉, 대부분의 파일은 백업할 때마다 변경되지 않으므로 단순한 접근 방식은 tar -cvzf /destination/blah.tgz ~/sourcedir/매우 비효율적이므로 압축 시 스마트하고 증분 전용 프로세스가 필요합니다.

1Gb 로컬 네트워크는 엄청난 양의 데이터는 아니지만 일부 네트워크에는 100Mb 연결만 있으므로 전송 측면에서도 스마트하고 증분 전용 프로세스가 필요합니다.

참고로, 제가 현재 작업 중인 영역 중 하나는 tar의 --listed-incremental 옵션과 gzip의 --rsyncable 옵션입니다.