파이프로 구분된 파일의 각 줄이 동일한지 확인하는 방법

Question 1

키 1부터 32까지 정렬(-k1,32)수직 스트립구분 기호로 -t'|'.
-u의미: 동일 실행(키 조합)의 첫 번째 줄만 출력합니다. 자세한 내용은
옵션을 참조하세요 man sort.sort

sort -t'|' -k1,32 -u infile

물론 위 코드는 정렬된 출력을 생성합니다.
그러나 입력 파일에서와 같이 처음 발견된 행의 순서를 동일하게 유지하려면 다음을 사용하십시오.

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl연속된 줄 번호를 접두사로 사용하세요. 이 줄 번호는 다음 cut단계를 따릅니다 sort.
두 번째 방법의 출력은 다음과 같습니다.테든펄 솔루션.

Answer

키 1부터 32까지 정렬(-k1,32)수직 스트립구분 기호로 -t'|'.
-u의미: 동일 실행(키 조합)의 첫 번째 줄만 출력합니다. 자세한 내용은
옵션을 참조하세요 man sort.sort

sort -t'|' -k1,32 -u infile

물론 위 코드는 정렬된 출력을 생성합니다.
그러나 입력 파일에서와 같이 처음 발견된 행의 순서를 동일하게 유지하려면 다음을 사용하십시오.

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl연속된 줄 번호를 접두사로 사용하세요. 이 줄 번호는 다음 cut단계를 따릅니다 sort.
두 번째 방법의 출력은 다음과 같습니다.테든펄 솔루션.

Question 2

Peter의 sort방법은 거의 확실히 가장 효과적이므로 사용하는 것이 좋습니다. 다양성을 위해 Perl 솔루션은 다음과 같습니다.

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

Answer

Peter의 sort방법은 거의 확실히 가장 효과적이므로 사용하는 것이 좋습니다. 다양성을 위해 Perl 솔루션은 다음과 같습니다.

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

관련 정보