여러 txt 파일에서 중복 줄 제거 [닫기]

모든 중복 항목을 제거하되 파일에서 첫 번째 중복 항목을 유지하고 다른 파일에서 제거하려면 다음과 같이 awk를 사용할 수 있습니다. 이렇게 하면 줄 순서도 유지됩니다.

awk '!seen[$0]++ { print >FILENAME".new" }' file1 file2 ... file12

여기에는 최대 12개의 파일이 있으므로 awk를 통해 열려 있는 파일을 닫을 필요는 없지만 처리 및 완료된 후에도 각 파일을 닫을 수 있습니다.

awk '!seen[$0]++ { 
    if(prev!=FILENAME) close(prev".new");
    print >FILENAME".new";
    prev=FILENAME }
' file1 file2 ... file12

---

셸 및 외부 명령을 사용한 mv다음 출력 파일의 이름을 원래 이름으로 바꿀 수 있습니다.rename명령도 마찬가지입니다.)

for file in ./*.new; do echo mv -v -- "$file" "${file%.new}"; done

참고: echo결과에 만족하면 삭제하세요.

---

GNU awk가 있는 경우 -i inplace옵션을 사용하여 다음과 같이 파일을 수정하고 전체 명령을 단순화할 수 있습니다.

gawk -i inplace '!seen[$0]++' file1 file2 ... file12