☰

파일에서 중복 항목을 제거하는 방법은 무엇입니까?

tag-icon • tag-icon sort
파일에서 중복 항목을 제거하는 방법은 무엇입니까?

내 파일에 쉼표로 구분된 도메인 이름 목록이 있습니다. 안타깝게도 일부 도메인 이름에 중복된 항목이 있습니다.

파일에서 중복된 항목을 찾아서 제거하는 방법이 있습니까?

샘플 출력은 다음과 같습니다:-

culturaurbanashop.com,remaxcorn.info,enjoygoing.com,full-kit-wankers.co.uk,paracaballo.com,radiopozarica.com,sprinklermaps.com,unlock-any-phone.com,voipbillingplus.com,yedincicadde.net,klasseaparte.com,allfortheweb.com,indulgesolutions.com,fastextcafe.info,titi.sickworldhosting.com,kebeico.com,facemowi.it,mellat.info,sal-gov.info,hindustan4848.com,nawaopls.co.za,familie-ries.de

답변1

노력하다:

tr ',' '\n' < infile | sort -u | paste -sd, -

답변2

쉼표로 구분된 단어 목록(단어는 공백이 아닌 시퀀스임)에서 중복 항목을 제거해야 한다는 의미인 경우 다음과 같을 수 있습니다.

$ echo 2,1,1,2,c,1 a,a,a,b,c | perl -M'List::MoreUtils uniq' -lpe '
    s/[\S,]+,[\S,]+/join ",", uniq(split",",$&)/ge'
2,1,c a,b,c

관련 정보