텍스트 파일에서 중복 항목 제거 [중복]

텍스트 파일에서 중복 항목 제거 [중복]

두 가지 요청(LDAP 하나와 SQL 하나)을 사용하여 txt 파일을 만들었습니다. 두 요청의 결과는 동일한 txt 파일에 저장됩니다.

txt 파일은 다음과 같습니다.

[email protected]
[email protected]
[email protected]
[email protected]
[email protected]

사용자는 두 개의 데이터베이스에 있을 수 있으므로 bash를 사용하여 중복 항목을 제거해야 합니다.
어떻게 해야 합니까?

답변1

파일이 결국 정렬되는 것이 마음에 들지 않으면 파일을 정렬하고 필터링하십시오.

sort -u file

지원 한다면 sort, 또는

sort file | uniq

그렇지 않은 경우 표준 출력에 고유한 이메일 주소의 정렬된 목록이 표시됩니다.

원래 주소 순서를 유지하려면 다음을 사용하십시오 awk.

awk '!(count[$0]++)' file

관련 정보