awk 중복 제거[중복]

레코드에 특정 필드에 대한 중복 값이 ​​포함되어 있는지 확인한 다음 중복 레코드를 제거하고 새 파일을 저장하고 싶습니다.

abc|123|def|456
abc|456|ghi|789
def|123|def|456

중복된 필드 1이 있는 모든 레코드가 제거된 새 파일을 저장하고 싶습니다.

abc|123|def|456
def|123|def|456

이 awk 코드는 가깝지만 실제로는 그 반대입니다. 새로운 중복 행을 생성한 다음 새 파일에 저장합니다.

awk -F'|' 'myv=a[$1] !/^myv++/' file.txt > newFile.txt