☰

파일을 분할할 때 awk를 사용하여 중복 줄을 제거하는 방법

tag-icon • tag-icon shell awk
파일을 분할할 때 awk를 사용하여 중복 줄을 제거하는 방법

다섯 번째 열을 기준으로 파일을 분할할 수 있도록 쉘 스크립트에서 awk를 사용하고 있습니다. 아래 코드는 내가 사용하는 코드와 유사합니다.

awk -F';' 'NR==1{h=$0; next}
!seen[$5]++{f="FILE_"$5".txt";print h > f} 
{print >> f}' input.txt

그러나 각 파일이 생성된 후에는 중복된 줄을 제거해야 합니다. 어떻게 해야 하나요?

답변1

단지 !seen[$0]++테스트를 위해서입니다.

귀하의 코드는

awk -F';' 'NR==1{h=$0; next}
!seen[$0]++{f="FILE_"$5".txt";print h > f} 
{print >> f}' input.txt

관련 정보