질문: 중복 파일을 찾는 속도가 빨라야 하며 파일을 열고 해싱할 필요가 없습니다. @taltman은 훌륭하고 빠른 스크립트를 작성했습니다.여기, MD5는 동일한 크기의 파일이 발견된 경우에만 사용됩니다. 이 스크립트는 Centos에서만 실행됩니다. 그리고 가장 큰 파일에 대한 출력을 제공하지 않습니다.
상태: Cinnamon Mint에서 실행되도록 스크립트를 포팅했습니다. 파일 이름의 공백도 처리할 수 있습니다. 그것은여기. 이제 다음을 출력합니다.
MD5 30599d19eb93cfb45030a1b0270e698c:
./../abc.jpg
./../xyz.jpg
MD5 3d0bc4e9ec8c77f5a430d8455252ef58:
./../def.mp4
./../hij.mp4
보고서 블록에 크기(아래쪽이 가장 큼)별로 정렬을 추가하고 크기를 표시하고 싶습니다. 출력은 내가 좋아하는 것과 같습니다.
## 4.53MB (MD5 30599d19eb93cfb45030a1b0270e698c):
./../abc.jpg
./../xyz.jpg
## 1.76GB (MD5 3d0bc4e9ec8c77f5a430d8455252ef58):
./../def.mp4
./../hij.mp4
도움을 요청: AWK를 정말로 이해하는 사람이 있나요? 도움을 주고 싶으신가요?
답변1
귀하의 질문에 대한 답변은 아닐 수도 있지만 구현하기가 더 쉬울 수도 있습니다. 나는 그것을 bash로 작성했는데 아마도 awk를 다루는 것보다 쉬울 것입니다.
#!/usr/bin/env bash
die()
{
echo >&2 "$@"
exit 1
}
usage()
{
echo >&2 "Usage: $0 path"
die
}
checkdupes() {
local path="$1"
declare -A flist
declare -a output_array
while read -r sum fname; do
if [[ ${flist[$sum]} ]]; then
fsize=$(stat --printf="%s" "$fname")
fsize_converted=$(convert_bytes "$fsize")
output_array+=("$fsize_converted $(md5sum "$fname") and ${flist[$sum]} are identical")
fi
flist[$sum]+="$fname"
done < <(find "$path" -type f -exec sha256sum {} +)
IFS=$'\n' sorted_array=($(sort -h <<<"${output_array[*]}"))
unset IFS
for ((i=${#sorted_array[@]}-1; i>=0; i--)); do
printf '%s\n' "${sorted_array[i]}"
done
}
convert_bytes() {
local bytes=$1
local unit=""
local value=""
if ((bytes < 1024)); then
unit="B"
value=$bytes
elif ((bytes < 1048576)); then
unit="KB"
value=$((bytes / 1024))
elif ((bytes < 1073741824)); then
unit="MB"
value=$((bytes / 1048576))
else
unit="GB"
value=$((bytes / 1073741824))
fi
printf '%d%s' "${value}" "${unit}"
}
if (($# < 1)); then
usage
else
checkdupes "$1"
fi
내 SE 스크립트에서 이 부분을 볼 수 있습니다.
die()
{
echo >&2 "$@"
exit 1
}
usage()
{
echo >&2 "Usage: $0 path"
die
}
이것은 실제로 오류 처리 부분입니다. 라는 파일을 생성하여 errorhandling 스크립트에서 가져올 수 있습니다.
용법:
./check_dupes [path]
도움이 되었기를 바랍니다!
답변2
해결책은 다음과 같습니다.TXR 불분명한 음성
하위 디렉터리에 여러 개의 중복 파일을 만들었습니다 linenoise.
$ txr findup.tl linenoise/
---
969d22f22e167313 1c11d2 (linenoise/history.txt.link linenoise/history.txt)
---
c3211c8f2a6ac412 1c1e0d (linenoise/example.c)
c3211c8f2a6ac412 1cd21f (linenoise/example.c.dup)
---
e4cd0181a0e73fda 1cd20a (linenoise/LICENSE.lnk linenoise/LICENSE.dup)
e4cd0181a0e73fda 1c11d4 (linenoise/LICENSE)
프로그램을 실행하면 앞에 ---.
프로그램은 서로 하드 링크된 파일(동일한 inode 번호)과 해싱 또는 둘의 조합을 통해 중복된 파일을 식별합니다.
위에는 다양한 상황이 나와 있습니다.
파일이 history.txt.link서로 history.txt연결되어 있습니다. 다른 중복 항목이 없으므로 행 하나만 표시됩니다.
이러한 파일 example.c과 파일은 example.c.dup동일하지만 개체가 다릅니다.
그런 다음 혼합된 상황이 발생합니다. LICENSE.lnk및 LICENSE.dup은 동일한 객체에 대한 링크이고 해당 객체는 의 복제본입니다 LICENSE.
암호:
(let ((dir "."))
(match-case *args*
((@where) (set dir where))
(())
(@else (put-line "bad arguments" *stderr*)
(exit nil)))
(flow (build (ftw dir (lambda (path type stat . rest)
(if (eql type ftw-f)
(add stat)))))
(group-by .size)
hash-values
(keep-if cdr)
(each ((group @1))
(flow group
(group-by .ino)
hash-values
(collect-each ((group @1))
(let ((hash (with-stream (s (open-file (car group).path))
(sha256-stream s))))
(cons hash group)))
(sort-group @1 car)
(each ((subgr @1))
(when-match @(require ((@hash @stat . @more-stats) . @other-members)
(or other-members more-stats))
subgr
(put-line "---")
(each-match ((@nil . @stats) subgr)
(format t "~x ~08x ~a\n"
[hash 0..8] (car stats).ino
(mapcar .path stats)))))))))
이 ftw함수는 nftwPOSIX 함수를 둘러싼 래퍼입니다. 구조(Lisp 버전 ) lambda를 포함하여 액세스된 모든 객체에 대한 콜백 정보를 제공합니다 . 구조 에는 (인덱스 노드 번호) 및 (전체 상대 경로) 와 같은 슬롯이 있습니다 . 우리는 이 객체들로 필요한 모든 것을 할 수 있습니다.statstruct statstatinosizepathstat
먼저 개체를 크기별로 그룹화하고 구성원이 두 명 이상인 그룹만 유지합니다. 질문에 나와 있듯이 고유한 크기의 파일이 중복되지 않습니다.
이 방법은 먼저 동일한 크기의 경로 그룹을 찾습니다.
그룹을 반복하고 각 그룹을 inode 번호별로 하위 그룹으로 그룹화합니다. 그런 다음 각 그룹의 리더(Lisp 구조체 목록 )를 stat해시 하고 해당 해시를 헤더 항목으로 그룹에 추가합니다.
마지막으로 우리는 sort-group이러한 그룹을 해싱하여 작업합니다. 이는 그룹이 해시별로 정렬되고 중복된 해시가 함께 그룹화됨을 의미합니다.
그런 다음 동일한 해시 그룹을 반복하고 덤프하면 됩니다. 두 개 이상의 구성원(중복 개체)이 있는 그룹이나 여러 경로가 있는 inode만 보고하도록 주의해야 합니다 (or other-members more-stats).
코드를 개선할 수 있습니다. 주어진 크기의 모든 파일이 동일한 개체(동일한 inode)에 연결되면 해당 파일에 대한 해시를 계산할 필요가 없으며 해당 파일이 동일하고 해당 하위 트리에 복사본이 없다는 것을 알 수 있습니다. 해시를 가짜 값(예: )으로 대체 0한 다음 반복 할 수 있습니다 sort-group.
또한 프로그램은 오탐지를 제거하기 위한 포괄적인 비교 수행을 무시합니다. 동일한 파일이 아닌 동일한 SHA256을 사용하여 파일을 보고합니다.
다음은 순수 하드 링크 중복의 해시를 제거하는 한 가지 가능한 방법입니다.
(collect-each ((group @1))
(let ((hash (if (cdr @1)
(with-stream (s (open-file (car group).path))
(sha256-stream s))
(load-time (make-buf 32)))))
(cons hash group)))
그러면 출력은 다음과 같습니다.
---
0000000000000000 1c11d2 (linenoise/history.txt.link linenoise/history.txt)
---
c3211c8f2a6ac412 1c1e0d (linenoise/example.c)
c3211c8f2a6ac412 1cd21f (linenoise/example.c.dup)
---
e4cd0181a0e73fda 1cd20a (linenoise/LICENSE.lnk linenoise/LICENSE.dup)
e4cd0181a0e73fda 1c11d4 (linenoise/LICENSE)
나는 이 사례를 모두 0으로 이루어진 완전한 해시로 대체했는데, 이는 명확하게 보입니다. (load-time (make-buf 32))SHA256과 동일한 길이의 32바이트 올제로 버퍼를 생성합니다. load-time컴파일된 코드에서는 계산이 실행될 때마다가 아니라 코드가 로드될 때 한 번 수행되는지 확인하세요. 이 cdr함수는 "이 목록에 두 개 이상의 항목이 있습니까?"를 의미하는 Lisp 관용어입니다. 첫 번째 항목을 제외한 목록의 나머지 부분을 검색합니다. 비어 있으면 nil부울 false인 를 반환합니다.
답변3
내 생각에 GNU 도구를 사용하여 수행하려는 작업은 다음과 같을 수 있습니다(테스트되지 않음).
while IFS= read -r -d $'\0' currName; do
currSum=$(md5sum "$currName")
if [[ "$currSum" == "$prevSum" ]]; then
printf 'Dups:'
printf '%s\n' "$prevName" # end with \0 if necessary
printf '%s\n' "$currName"
fi
prevSum="$currSum"
prevName="$currName"
done < <(
find . -type f -printf '%s\t%p\0' |
sort -z -k2- |
awk '
BEGIN { RS=ORS="\0" }
{
currName = $0
sub(/[^\t]+\t/,"",currName)
}
$1 == prevSize {
print prevName currName
prevName = ""
next
}
{
prevSize = $1
prevName = currName ORS
}
'
)