파일 내용을 새 파일에 쓰는 방법, 중복 줄 제거

파일 내용을 새 파일에 쓰는 방법, 중복 줄 제거

예를 들어, 파일에 다음이 file1.txt포함되어 있습니다.

Hi how are you  
hello  
today is monday  
hello  
I am fine  
Hi how are you 

처리 후에는 file1.txt작성되어야 하며 file2.txt내용은 같은 줄을 반복하지 않고 다음과 같아야 합니다.

Hi how are you  
hello  
today is monday  
I am fine  

Linux 터미널에서 이 작업을 수행하려면 어떤 명령을 사용할 수 있나요?

답변1

start cmd:> awk 'lines[$0]++ == 0' input
Hi how are you
hello  
today is monday  
I am fine

답변2

sort이것은 다음과 같은 ( -u) 옵션 만 사용하는 간단한 작업입니다 sort.

% sort -u file1.txt
hello
Hi how are you
I am fine
today is monday

그것을 저장하려면 file2.txt:

sort -u file1.txt >file2.txt

초기 순서를 유지하려면 다음을 수행하십시오.

% nl file1.txt | sort -uk2,2 | sort -k1,1n | cut -f2
Hi how are you
hello
today is monday
I am fine

관련 정보