중복 파일을 제거하되 특정 줄은 무시하세요(예: 포함된 타임스탬프)

중복 파일을 제거하되 특정 줄은 무시하세요(예: 포함된 타임스탬프)

gzip으로 압축된 텍스트 파일이 많이 있습니다. (을 사용하여) 중복 파일을 제거하려고 하는데 fdupes문제는 파일에 타임스탬프가 포함된 행이 포함되어 있고 그 외에는 파일이 동일하다는 것입니다.

중복된 항목을 찾아서 이 줄을 무시하고 싶지만아니요내가 보관하는 파일에서 해당 줄을 제거하세요.

제 경우에는 그 줄이 다음과 같았습니다.

-- Dump completed on 2014-07-12 10:00:01

지금은 작동하지만 보관된 파일에서 타임스탬프 줄을 제거하는 다음 스크립트를 사용하고 있습니다.

#!/bin/sh

# Remove timestamp line from all gzipped text files by temporarily unzipping
# them, removing the line then rezipping. Preserve file system timestamp.
for a in *.sql.gz ; do
    gunzip -c $a | sed -e 's/^-- Dump completed.*//g' | gzip -c -9 > temp.gz
    touch -r $a temp.gz
    mv temp.gz $a
done

# Duplicates can now be removed.
fdupes . -dN

원본 파일을 수정하지 않고 타임스탬프 줄을 보존하는 솔루션을 찾고 싶습니다.

내가 할 수 있는 방법이 있나요?

관련 정보