☰

다수의 중복 파일을 효율적으로 보관하는 방법

tag-icon • tag-icon tar archive
다수의 중복 파일을 효율적으로 보관하는 방법

WIM 형식중복 파일과 중복 없이 아카이브를 자동으로 감지합니다.

UNIX, Linux 또는 Mac에 다른 옵션이 있습니까?

답변1

zip을 제외하고 대부분의 아카이브 형식은 아카이브가 충분히 작은 경우 적절한 작업을 수행합니다. Zip은 각 파일을 독립적으로 압축하지만 다른 널리 사용되는 형식(tar.anything, 7z, rar)은 아카이브를 전체적으로 압축합니다. 동일한 파일이 아카이브에서 충분히 가까운 경우 두 번째 발생은 몇 바이트로 압축될 수 있습니다. "충분히 가까운" 정도는 아카이브 형식에 따라 다릅니다.

하드 링크(예: tar)를 이해하는 모든 아카이버에 적용되는 접근 방식은 먼저 동일한 파일을 하드 링크로 바꾸는 것입니다. 이는 중복된 콘텐츠가 포함된 파일이 다른 메타데이터(권한, 타임스탬프 등)를 가지기를 원하지 않는 경우에만 적용됩니다. 너는 사용한다레플리카중복 항목을 찾은 다음 파일 이름에 개행 문자가 포함되어 있지 않다고 가정하고 일부 후처리를 수행하여 중복 항목을 하드 링크로 대체합니다.

fdupes -q -r . | awk '
    $0 == "" {first = ""; next}
    {
        gsub(/\047/, "\047\\\047\047", $0);
        if (first == "") first = $0;
        else system("ln -f \047" first "\047 \047" $0 "\047");
    }'

관련 정보