중복된 단락을 제거하는 방법

문서를 보면 awk다음을 사용할 수 있는 것 같습니다.

cat file.txt | awk 'BEGIN { RS = "\n\n+"; first = 1 } {if (!x[$0]++) { if (!first) {print ""}; print $0; first = 0} }'

빠른 설명:

• 단락을 구분하기 위해 레코드 구분 기호를 RS"\n\n+"로 설정했습니다.
• 이 변수는 first레코드 사이에 개행을 인쇄하는 데 사용됩니다. 또는 각 $0 다음에 개행을 인쇄할 수 있지만 마지막 레코드의 개행을 제거할 방법이 없습니다.
• 지도는 x이전에 기록을 본 적이 있는지 계산하는 데 사용됩니다. 본 적이 없는 경우에만 기록을 인쇄합니다.
• records 가 아닌 경우 first레코드 사이에 줄바꿈을 인쇄합니다.
• 기록을 인쇄합니다.
• 거짓으로 설정하세요 first.

$ awk -v RS= -v ORS='\n\n' '!seen[$0]++' file
Paragraph1
continue
continue

...

Paragraph2
continue
continue