☰

명령줄 및 스크립트에서 awk를 사용한 중복 제거

tag-icon • tag-icon linux awk csv
명령줄 및 스크립트에서 awk를 사용한 중복 제거

다음 형식의 파일이 있습니다.

487422,Potenza
487386,Forlì-Cesena
487399,Grosseto
487425,Catanzaro
487409,Napoli
487446,Prato
495498,Fermo
487425,Catanzaro
487389,Macerata
487442,Biella
487351,Asti
487424,Cosenza
487404,Roma
487359,Como
487404,Roma
487401,Terni
487420,Brindisi
487397,Arezzo
487348,Vercelli
487382,Modena
487356,Genova
487365,Cremona
487369,Verona
487386,Forlì-Cesena

보시다시피 중복된 내용이 포함된 쉼표로 구분된 텍스트입니다. 를 사용하여 1열과 관련된 텍스트를 삭제하고 싶습니다 awk.

명령줄

쉘 인터페이스를 사용하면 다음과 같은 결과가 나타납니다.

487422,Potenza
487386,Forlì-Cesena
487399,Grosseto
487425,Catanzaro
487409,Napoli
487446,Prato
495498,Fermo
487389,Macerata
487442,Biella
487351,Asti
487424,Cosenza
487404,Roma
487359,Como
487401,Terni
487420,Brindisi
487397,Arezzo
487348,Vercelli
487382,Modena
487356,Genova
487365,Cremona
487369,Verona

이것이 다음 명령에서 기대되는 것입니다.

awk -F"," '!a[$1]++' filename.csv

awk 스크립트

awk 스크립트를 사용하면 다음과 같이 작성합니다.

#!/bin/awk -f

BEGIN {
    FS=","
}
{
    {!a[$1]++}
}

나는 어떤 결과도 얻지 못한다. 스크립트에 문제가 있나요? 스크립트와 명령줄의 동작이 다른 이유는 무엇입니까?

답변1

중괄호 바깥쪽에 !a[$1]++는상황{print}, 평가 결과가 true(0이 아님)이면 기본 작업이 트리거됩니다.

중괄호 {{!a[$1]++}}안에는행동이는 무조건 평가되며 부작용이 없습니다. 중괄호를 제거합니다.

#!/bin/awk -f

BEGIN {
    FS=","
}

!a[$1]++

답변2

@steeldriver의 이상한 답변정확하고 필요한 것일 수 있지만 입력이 매우 커지면 메모리가 부족하거나 상대적으로 느려질 수 있습니다. 이 경우 장식/정렬/장식 해제 방법이 계속 작동하는 방법은 다음과 같습니다.

nl -w1 -s, file |       # Decorate by prefixing with line numbers
sort -ut, -k2,2 |       # Sort uniquely by the real key field
sort -nt, -k1,1 |       # Sort whats left by the line numbers we added
cut -d, -f2-            # Undecorate by removing the line numbers

관련 정보