파일에서 고유하지 않은 모든 줄 찾기

Question 1

소문자 -d 옵션의 GNU 버전이 필요합니다.

# printf "a\na\na\nb\nb\nc\n" | uniq -d
a
b

Answer

소문자 -d 옵션의 GNU 버전이 필요합니다.

# printf "a\na\na\nb\nb\nc\n" | uniq -d
a
b

Question 2

GNU 또는 ast-open을 사용하여 구현됨 uniq:

uniq -D -u < input

( -D자체는 비표준), 그러나 이것은 첫 번째가 아니라 제거하는 마지막 중복이라는 점에 유의하십시오( -i, 또는 도 사용하면 -w차이가 발생함 -f).

이식 가능한 경우 언제든지 다음을 사용할 수 있습니다 awk.

awk 'NR > 1 && $0 "" == previous ""; {previous = $0}' < input

(is와 연결하면 ""피연산자가 숫자처럼 보이더라도 문자열 비교가 강제됩니다.)

처음 9자만 비교합니다(이것은 -w또한 GNU 확장이며 (현재) 문자가 아닌 바이트에서 작동한다는 점에 유의하십시오(문서에 그렇게 나와 있지만)).

awk '{current = substr($0, 1, 9)}
     NR > 1 && current == previous
     {previous = current}' < input

""(이 경우 substr()문자열이 반환되므로 연결이 필요하지 않습니다.)

UTF-8 로케일에서 출력 시

printf '%s\n' StéphaneChazelas StéphaneUNIX StéphaneUnix

StéphaneUnix예상대로 while uniq -w9 -D -u(GNU 사용 uniq) 을 제공 StéphaneChazelas하고 -is StéphaneUNIX로 8자를 제공 Stéphane하지만 UTF-8에서는 9바이트를 제공하는 반면 ast-open uniq은 StéphaneUNIX( awk첫 번째 항목 건너뛰기, uniq마지막 항목 한 번 제거)만 제공합니다.

를 사용하면 awk다음 항목에 인접하지 않더라도 모든 중복 행을 보고할 수도 있습니다.

 awk 'seen[$0]++' < input

(메모리의 모든 고유 행을 해시 테이블에 저장합니다.)

또는 처음 9자만 고려하십시오.

 awk 'seen[substr($0, 1, 9)]++' < input

Answer