동일한 파일을 하드 링크로 변환

Question 1

다음 명령은 md5현재 디렉터리 또는 다음 디렉터리의 모든 파일에 대한 MD5 다이제스트를 생성하는 데 사용됩니다.

find . -type f -exec md5 {} +

BSD 유틸리티가 없으면 대체하십시오 md5.md5sum --tagmd5

디렉토리에서 이 작업을 수행하는 간단한 스크립트를 작성해 보겠습니다.

#!/bin/bash

tmpdir=${TMPDIR:-/tmp}

if (( $# != 2 )); then
    echo 'Expected two directories as arguments' >&2
    exit 1
fi

i=0
for dir in "$@"; do
    (( ++i ))
    find "$dir" -type f -exec md5 {} + | sort -t '=' -k2 -o "$tmpdir/md5.$i"
done

이는 명령줄에서 두 개의 디렉터리를 사용하여 해당 디렉터리에 있는 (또는 가리키는 위치) 각 디렉터리마다 하나씩 md5.1and 라는 파일을 생성합니다. 파일은 MD5 다이제스트별로 정렬됩니다.md5.2/tmp$TMPDIR

이 파일은 다음과 같습니다

MD5 (<path>) = <MD5 digest>

모든 파일에는 다음과 같은 줄이 있습니다.

그런 다음 동일한 스크립트에서 두 파일 간의 체크섬을 비교합니다.

join -t '=' -1 2 -2 2 "$tmpdir"/md5.[12]

이는 체크섬을 결합 필드로 사용하여 두 파일 간의 관계형 "결합" 작업을 수행합니다. 두 필드 모두에서 체크섬이 동일한 행은 병합되어 출력됩니다.

두 파일의 체크섬이 동일하면 다음과 같이 출력됩니다.

<space><MD5 digest>=MD5 (<path1>) =MD5 (<path2>)

이를 직접 전달하여 awk두 경로를 해결할 수 있습니다.

awk -F '[()]' 'BEGIN { OFS="\t" } { print $2, $4 }'

이는 각 행을 및 를 기준으로 필드 -F [()]로 나누고 싶다고 말하는 방법일 뿐입니다 . 이렇게 하면 필드 2와 4의 경로가 남습니다.()

이것은 출력됩니다

<path1><tab><path2>

그런 다음 탭으로 구분된 경로 쌍을 읽고 올바른 명령을 실행하여 링크를 생성하십시오.

while IFS=$'\t' read -r path1 path2; do
    echo ln -f "$path1" "$path2"
done

간단히 말해서:

#!/bin/bash

tmpdir=${TMPDIR:-/tmp}

if (( $# != 2 )); then
    echo 'Expected two directories as arguments' >&2
    exit 1
fi

i=0
for dir in "$@"; do
    (( ++i ))
    find "$dir" -type f -exec md5 {} + | sort -t '=' -k2 -o "$tmpdir/md5.$i"
done

join -t '=' -1 2 -2 2 "$tmpdir"/md5.[12] |
awk -F '\\)|\\(' 'BEGIN { OFS="\t" } { print $2, $4 }' |
while IFS=$'\t' read -r path1 path2; do
    echo ln -f "$path1" "$path2"
done

rm -f "$tmpdir"/md5.[12]

안전을 위해 루프 echo에 있습니다 while. 한 번 실행하고 무슨 일이 일어나는지 확인하고, 올바른 일을 하고 있다고 확신한다면 제거하고 다시 실행하세요.

하드 링크는 파티션에 걸쳐 있을 수 없다는 점을 기억하십시오. 이는 두 디렉터리가 모두 동일한 파티션에 있어야 함을 의미합니다. 파일은 다음 위치에 있습니다.두번째중복된 항목이 발견되면 디렉터리를 덮어씁니다. 결과에 만족할 때까지 원본 백업을 어딘가에 보관하세요!

파일 이름에 탭 문자가 포함된 파일이 있으면 (이 솔루션이 제대로 작동하지 않습니다 .)

Answer