저는 dar(tar와 유사하지만 하드 드라이브에 최적화됨)를 사용하여 RAID 볼륨을 백업합니다. RAID의 경우 크기는 3~10TB 정도로 중간 정도입니다. 내 목표는 결과를 8TB 외장 드라이브에 넣는 것이지만 하나의 드라이브에 여러 백업을 넣을 수 있으면 좋을 것입니다. 이건 내 개인적인 취향이므로 가격이 중요하다.
어쨌든 xz:0 압축을 사용하여 3.4TB 파일을 만들기 위해 dar를 사용하기 시작했습니다. 이 작업은 24시간이 걸렸고 결국 740GB만 남았고 작업의 몇 퍼센트가 완료되었는지 모르겠습니다. 이는 32개의 하이퍼스레드를 갖춘 듀얼 Xeon 시스템에 있지만 4GHz는 그리 빠르지 않습니다.
그래서 하루에 3TB의 데이터를 처리할 수 있는 압축기가 필요합니다. 압축이 더 잘 되면 좋겠지만 이제는 걸리는 시간을 제어하고 싶습니다. 이 정보를 다룬 연구가 있나요? 대용량 아카이브를 압축해 본 경험이 있는 사람이 있나요?
아, 그리고 dar의 작동 방식 때문에 스트림을 압축할 수 있어야 합니다. Dar는 슬라이스를 전환할 시기를 알 수 있도록 각 구성 요소를 압축합니다(출력은 여러 디스크 또는 스토리지 스틱의 여러 슬라이스로 전송될 수 있음).
답변1
ZSTD의 최종 압축 수준은 XZ와 비슷하지만 압축 속도가 훨씬 빠르고(최대 20배) 압축 해제 속도가 엄청납니다.
나극도로그럼에도 불구하고 모든 압축 파일에 대해 par2 복구 레코드를 생성하는 것이 좋습니다. 한 번의 실수로 전체 아카이브가 완전히 손상될 수 있습니다.