☰

텍스트 파일의 중복 해시 데이터 처리 - 고유한 행을 유지하고 중복 항목 제거

tag-icon • tag-icon text-processing hashsum duplicate
텍스트 파일의 중복 해시 데이터 처리 - 고유한 행을 유지하고 중복 항목 제거

이 포럼 덕분에 파일 이름과 해시 값이 포함된 대용량 텍스트 파일을 처리할 수 있었고 다음과 같이 동일한 해시 값을 가진 파일 목록을 얻을 수 있었습니다.

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_87.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2
file_58.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2
file_89.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2

중복된 해시가 포함된 행을 제거하여 다음과 같은 고유한 해시가 포함된 텍스트 파일을 만들고 싶습니다.

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2

이 작업이 완료되면 저장하고 삭제하려는 파일을 이동하고 삭제하는 스크립트를 만들 수 있습니다.

답변1

파일이 이미 정렬되어 있는 경우 다음과 같이 하세요.

uniq --skip-field=1 file

그렇지 않으면 먼저 파일을 정렬한 후 다음을 사용할 수 있습니다 uniq.

sort -k2 file | uniq --skip-field=1

산출:

file_35.txt 8208ad321576b521b23b07b9ba598e5c43b03ec4172c96fdbd35a858ec205ae6
file_32.txt aaf6b8c4a95d0e8f191784943ba1ea5c0b4d4baab733efe8ceb8b35478b6afd2

관련 정보