하드웨어 리소스를 낭비하지 않고 동적 스트림 압축을 하시겠습니까?

dd데이터 블록은 한 번에 하나씩 읽고 쓰며, 미해결 데이터 블록은 하나만 있습니다. 그래서

valgrind dd if=/dev/zero status=progress of=/dev/null bs=1M

약 dd1MB의 메모리가 사용됩니다. 청크의 크기를 조정한 다음 삭제하여 valgrind속도에 미치는 영향을 확인할 수 있습니다.dd

gzip입력 할 때 dd일치 속도를 늦추십시오 gzip. 메모리 사용량이 증가하지 않으며 커널이 디스크에 버퍼를 저장하도록 하지도 않습니다(커널은 이를 수행하는 방법을 모릅니다.통과하다교환). 튜브 파열 signal(7)은 튜브의 한쪽 끝이 죽을 때만 발생합니다 write(2).

그러므로

dd if=... iconv=fullblock bs=1M | gzip -9 > ...

원하는 것을 달성하는 안전한 방법입니다.

파이핑 시 읽기 프로세스가 유지되지 않으면 결국 쓰기 프로세스가 커널에 의해 차단됩니다. 이것을 실행하면 볼 수 있습니다

strace dd if=/dev/zero bs=1M | (sleep 60; cat > /dev/null)

1MB의 읽기가 표시 dd되면 a를 실행 write()하고 실행되는 동안 잠시 기다립니다 sleep. 이것이 파이프의 양쪽이 균형을 이루는 방식입니다. 쓰기 프로세스가 너무 빠르면 커널이 쓰기를 차단하고, 읽기 프로세스가 너무 빠르면 커널이 읽기를 차단합니다.

기술적으로는 다음이 필요하지도 않습니다 dd.

gzip < /dev/drive > drive.img.gz

이를 사용하는 경우 dd항상 기본값보다 큰 블록 크기를 사용해야 합니다 dd bs=1M. 그렇지 않으면 시스템 호출 지옥으로 고통받게 됩니다( dd기본 블록 크기는 512바이트이고 해당 read()s와 write()s는 4096시스템 호출마다 있으므로 MiB오버헤드가 너무 큽니다). 엄청난).

gzip -9더 많은 CPU가 사용되지만 표시할 내용은 거의 없습니다. 속도가 느려 지면 gzip압축 수준을 낮추거나 다른(빠른) 압축 방법을 사용하십시오.

이미지 가 아닌 파일 기반 백업을 수행하는 경우 dd압축할지 여부를 결정하는 몇 가지 논리가 있을 수 있습니다(다양한 파일 형식에 대해 이 작업을 수행하는 것은 의미가 없습니다). dar( taralternative`)는 이를 수행하는 옵션의 예입니다.

여유 공간이 0인 경우(TRIM 후 안정적으로 0을 반환하는 SSD이고 fstrim캐시를 실행 및 삭제하기 때문에) ddwith conv=sparse플래그를 사용하여 압축되지 않은 루프 마운트 가능한 희소 이미지를 생성할 수도 있습니다. 이 이미지는 0의 디스크 공간을 사용합니다. 제로 지역의 경우. 스파스 파일을 지원하는 파일 시스템에서 이미지 파일을 지원해야 합니다.

또는 일부 파일 시스템의 경우 사용된 영역만 이미지화할 수 있는 프로그램이 있습니다.

성능 외에는 부정적인 영향이 없습니다. 파이프에는 일반적으로 64K의 버퍼가 있으며, 그 이후에는 gzip더 많은 데이터를 읽을 때까지 파이프에 대한 쓰기가 차단됩니다.

어쩌면 파일이 필요하고 tar를 사용할 수도 있습니다. 누군가가 이미 요청한 대로 원하는 내용이 포함되지 않은 블록을 0으로 채울 수 있습니다.0으로 사용되지 않는 공간 지우기(ext3, ext4)

그러면 pigz일반적으로 gzip.