여러 텍스트 파일을 효율적으로 병합하고 중복을 제거하는 방법은 무엇입니까?

여러 텍스트 파일을 효율적으로 병합하고 중복을 제거하는 방법은 무엇입니까?

여러 가지 방법을 시도했지만 대부분이 멈추거나 중복 항목을 제대로 제거하지 못했습니다. 출력 파일이 정렬되었는지 여부는 중요하지 않습니다.

file1.txt에 다음이 포함된 경우

a
b
c
d
e
c
d

file2.txt에 다음이 포함된 경우

c
d
e
a
f
g
g
h

Output.txt에는 다음이 포함되어야 합니다.

a
b
c
d
e
f
g
h

답변1

중복 항목을 제거하면서 입력을 정렬 하려면 sort -u file[12].txt >output.txt.

파일이 Unix 유형 개행 형식(LF \n)이고 그렇지 않은 경우 Dos/Windows 개행 형식(CRLF \r\n)이 아닌지 확인하십시오.변화그들은 통과하거나 tr -d $'\r' <filename명령 dos2unix filename합니다.

관련 정보