파일을 병렬로 보관할 수 있는 것이 있나요?
Tar는 훌륭하지만 테이프 보관을 사용하지 않으며 smp가 있기 때문에 보관이 빠른 것(bzip2와 같은 압축 사용)이 나에게 더 중요합니다.
답변1
나는 당신이 pbzip2를 찾고 있다고 생각합니다 :
PBZIP2는 pthread를 사용하고 SMP 시스템에서 거의 선형에 가까운 속도 향상을 달성하는 bzip2 블록 정렬 파일 압축기의 병렬 구현입니다.
보세요프로젝트 홈페이지또는 즐겨찾는 패키지 저장소를 확인하세요.
답변2
OP는 병렬 압축이 아닌 병렬 보관에 대해 질문했습니다.
소스 자료가 서로 다른 디렉터리/파일이 서로 다른 디스크에 있을 수 있는 파일 시스템에서 나온 경우 또는 압축 도구의 입력 속도를 초과하는 단일 빠른 디스크인 경우 압축에 여러 입력 스트림을 포함하는 것이 실제로 도움이 될 수 있습니다. 층.
흥미로운 질문은 병렬 아카이브의 출력이 어떤 모습이냐는 것입니다. 더 이상 단일 파일 설명자/ 가 아니라 stdout스레드당 파일 설명자입니다.
지금까지의 예는 Postgresql의 병렬 덤프 모드로 pg_dump, 디렉터리에 덤프하고 스레드는 백업할 테이블 집합(여러 스레드에서 사용하는 작업 대기열)에서 작업합니다.
실제 병렬 아카이버가 주류인지 확실하지 않습니다. ZFS와 함께 사용할 수 있는 Solaris Tar용 해킹이 있습니다.http://www.maier-komor.de/mtwrite.html
여러 스레드를 성공적으로 실행할 수 있는 전용 백업 도구가 있지만 디렉터리별로 높은 수준에서 작업 부하를 분할하는 도구가 더 많이 있습니다.
답변3
7zip플래그가 지정되면 여러 스레드에서 실행할 수 있지만 -mmt7z 아카이브로 압축하는 경우에만 실행될 수 있습니다. 이는 좋은 압축을 제공하지만 일반적으로 아카이브를 생성하는 데 zip보다 느립니다. 다음과 같이 하십시오:
7z a -mmt foo.7z /opt/myhugefile.dat
답변4
돼지 돼지gzip의 병렬 구현이지만 실제로는 압축 해제가 아닌 압축을 위해 여러 프로세서만 사용할 수 있습니다.