압축 해제 실패

한 컴퓨터에서 다른 컴퓨터(600GB 이상)로 대용량 파일을 전송하는 작업을 처리하고 있으며 다음을 사용하여 압축하고 있습니다.

tar -cpvzf file.tar.gz -C PATH_TO_DIR DIR

코킹 공정이 완료되면 다음 작업이 완료됩니다.

split -d -b 2G file.tar.gz file_part_

그러면 전체 파일이 2GB 청크로 분할될 때까지 file_part_00, file_part_01...이 생성됩니다. 파일을 전송하기 전에 tar-split 디렉터리의 각 섹션을 반복하고 다음과 같은 항목을 사용하여 해당 md5 해시를 수집합니다.

md5sum PART_NAME >> list_md5.start

각 부분을 해싱한 후 다음을 수행합니다.

sort -u list_md5.start

(이렇게 하면 안전을 위해 항목을 정렬하고 중복 항목을 제거합니다.)

그런 다음 부품은 list_md5.start에 나타나는 순서대로 하나씩 전송됩니다. 다른 시스템에 도착하면 md5 해시는 동일한 방법을 사용하여 수집되지만 list_md5_2.start라고 하는 다른 목록에 수집됩니다. 전송 후 부품을 다시 조립하기 전에 다음을 실행합니다.

diff list_md5.start list_md5_2.start

차이점이 발견되지 않으면 다음 섹션으로 넘어갑니다. 그렇지 않으면 포기하고 모든 부분을 삭제하겠습니다. 다시 조립할 때 나는 다음을 수행합니다.

cat file_part_* > file.tar.gz.incomplete

(만나는 .tar.gz의 압축을 풀기 위해 기다리는 감시자가 있기 때문에 불완전한 부분이 존재합니다). cat이 완료되면 다음을 사용하여 파일 이름이 변경됩니다.

mv file.tar.gz.incomplete file.tar.gz

이 시점에서 watchdog은 이를 감지하고 다음 명령을 사용하여 압축을 풉니다.

tar -C DEST -xzf file.tar.gz --totals --unlink-first --recursive-unlink

이 시점에서 디버깅할 수 없는 오류가 발생합니다.

Tar Failed 2
gzip: stdin: unexpected end of file
tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now
 /PATH/TO/DEST

압축 해제 후에는 tar는 실패 여부와 관계없이 삭제됩니다(압축 해제에 실패한 대용량 파일을 보관하는 것은 의미가 없습니다).

때때로 md5sum이 일치하지 않아 프로세스가 중지된다는 점은 주목할 가치가 있습니다(이는 cat조립 단계 전에 확인됩니다).

이름이 유효하지 않은지 확인하려고 노력했습니다. 부품 크기를 더 작은 크기로 변경해 보았습니다. 프로세스를 수동으로 진행하려고 시도했지만 여전히 md5sum 불일치 또는 EOF 오류 문제가 발생합니다.

이 작업은 모두 업데이트된 Ubuntu 시스템에서 수행되었습니다(보류 중인 업데이트 없음).

이 문제를 해결하는 방법을 아는 사람이 있나요?