일치하는 문자열 2개가 포함된 중복 파일을 제거하고 나머지는 유지하는 방법은 무엇입니까?

Question 1

이와 같은 작은 Bash 스크립트가 트릭을 수행해야 합니다.

#!/bin/bash

declare -A a                             # declare associative array 
for i in *; do                           # loop through files in directory

  read -r url < "$i"                     # read the url from the file
  domain=${url%%/*}                      # delete longest match from back
  param=${url##*/}                       # delete longest match from start
  param=${param%%=*}                     # delete "=value" from param
  k=$domain$param                        # construct key

  if [[ -n $k && -z ${a[$k]} ]]; then    # check its prior use as key k
    a[$k]=1                              # new key: mark it as such
  else                                   # known/faulty key: delete the file
    echo Delete "$i"                     # Replace with: rm "$i" if satisfied
  fi
done

Answer

이와 같은 작은 Bash 스크립트가 트릭을 수행해야 합니다.

#!/bin/bash

declare -A a                             # declare associative array 
for i in *; do                           # loop through files in directory

  read -r url < "$i"                     # read the url from the file
  domain=${url%%/*}                      # delete longest match from back
  param=${url##*/}                       # delete longest match from start
  param=${param%%=*}                     # delete "=value" from param
  k=$domain$param                        # construct key

  if [[ -n $k && -z ${a[$k]} ]]; then    # check its prior use as key k
    a[$k]=1                              # new key: mark it as such
  else                                   # known/faulty key: delete the file
    echo Delete "$i"                     # Replace with: rm "$i" if satisfied
  fi
done

Question 2

파일의 모든 줄에 대해 다음 Perl 코드를 사용할 수 있습니다.

perl -nle '($d,$p)=m{^(\S+?)/\S+/\??(\w+)=}; $a{"$d$p"}=$_ if "$d$p";
END {print $a{$_} for (keys %a)}' input

input은 데이터 파일이지만 이 Perl 명령을 파이프할 수 있습니다. 작업은 간단합니다. 정규식은 먼저 도메인을 분리하고첫 번째각 항목에 대한 매개변수입니다. 그런 다음 전체 행이 사전에 기록되며, 여기서 초기에 격리된 부분이 키가 됩니다. 이전 값은 덮어쓰여집니다. 마지막으로 해시 값을 인쇄합니다.

다음과 같은 출력이 생성됩니다.

test.co.uk/car/interior=chair
www.example.com/1/1/?l=spanish
example.com/car/?wheel=rim
www.example.com/1/1/?selectedTab=live&selectedStream=1
example.co.uk/car/interior=chair
test.com/food/?fruit=banana

다음에서 입력하세요.

example.com/car/?wheel=tyre
example.com/car/?wheel=rim
test.com/food/?fruit=apple
test.com/food/?fruit=banana
test.co.uk/car/interior=chair
example.co.uk/car/interior=chair
www.example.com/1/1/?l=thai 
www.example.com/1/1/?l=thai
www.example.com/1/1/?l=ukrainian
www.example.com/1/1/?l=turkish
www.example.com/1/1/?selectedTab=live&selectedStream=1
www.example.com/1/1/?l=ukrainian
www.example.com/1/1/?l=turkish
www.example.com/store/?l=turkish
www.example.com/1/1/storecommon.js?v=aHpFwmVHuavD&l=dutch
www.example.com/1/1/2/0/?l=english
www.example.com/1/1/9/0/?l=english
www.example.com/1/1/?l=spanish

?v=aHpFwmVHuavD&l=dutch두 개의 매개변수로 구성된 오류가 있습니다 . 아마도 하나씩 분해하여 처리해야 하므로 상황이 더 복잡해집니다.그렇지 않은지 확인하십시오.또한 다음 domain.com과 같은 점에 유의하세요 www.domain.com.아니요실제로는 동일합니다.

Answer