Sed 또는 Awk(또는 기타)는 csv 파일에서 여러 열을 제거합니다.

Question 1

CSV 데이터에는 쉼표가 포함된 필드가 있으므로 단순한 쉼표 분할이 아닌 올바른 CSV 파서를 사용해야 합니다. 또한 데이터에는 멀티바이트(utf8?) 문자가 포함되어 있으므로 이를 처리할 수 있는 무언가를 사용해야 합니다.

펄과밀러좋은 선택입니다. CSV를 인쇄하거나 SQL 데이터베이스로 가져오기 전에 CSV 파일에 대해 추가 처리가 필요한 경우(각 행이 배열 $row참조에 있으면 원하는 대로 무엇이든 할 수 있습니다. 귀하의 경우에는 Perl을 사용합니다) Perl 스크립트 여러 소스 파일을 병합하거나, 중복된 항목을 제거하거나, 인치 ''대신 사용하는 등 이상한 형식의 콘텐츠를 정리할 수 있으며 , 필요한 경우 일부 필드를 잘라내는 것뿐입니다."miller

사용밀러:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

Perl과 Perl의 사용텍스트::CSV기준 치수:

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

splice참고: Perl 배열은 1이 아닌 0에서 시작합니다. 요소 제거 시 인덱스 번호 다시 매기기 문제를 피하기 위해 Perl 함수를 사용하여 배열 요소를 역순으로 제거했습니다 .

또한 참고: 이는 Perl에 포함되어 있지 않으며 배포판(예: Debian 및 Ubuntu 및 Mint와 같은 파생 제품) Text::CSV에서 패키지하거나 .apt-get install libtext-csv-perlcpan

Answer

CSV 데이터에는 쉼표가 포함된 필드가 있으므로 단순한 쉼표 분할이 아닌 올바른 CSV 파서를 사용해야 합니다. 또한 데이터에는 멀티바이트(utf8?) 문자가 포함되어 있으므로 이를 처리할 수 있는 무언가를 사용해야 합니다.

펄과밀러좋은 선택입니다. CSV를 인쇄하거나 SQL 데이터베이스로 가져오기 전에 CSV 파일에 대해 추가 처리가 필요한 경우(각 행이 배열 $row참조에 있으면 원하는 대로 무엇이든 할 수 있습니다. 귀하의 경우에는 Perl을 사용합니다) Perl 스크립트 여러 소스 파일을 병합하거나, 중복된 항목을 제거하거나, 인치 ''대신 사용하는 등 이상한 형식의 콘텐츠를 정리할 수 있으며 , 필요한 경우 일부 필드를 잘라내는 것뿐입니다."miller

사용밀러:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

Perl과 Perl의 사용텍스트::CSV기준 치수:

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

splice참고: Perl 배열은 1이 아닌 0에서 시작합니다. 요소 제거 시 인덱스 번호 다시 매기기 문제를 피하기 위해 Perl 함수를 사용하여 배열 요소를 역순으로 제거했습니다 .

또한 참고: 이는 Perl에 포함되어 있지 않으며 배포판(예: Debian 및 Ubuntu 및 Mint와 같은 파생 제품) Text::CSV에서 패키지하거나 .apt-get install libtext-csv-perlcpan

Question 2

당신은 GNU sed(for)를 사용하고 있으므로 -iGNU awk도 가지고 있다고 가정합니다. awk를 사용할 때 sed가 필요하지 않기 때문에 모든 sed 명령을 제거할 수 있습니다. 이 1 awk 스크립트를 실행하기만 하면 됩니다.마그네틱 RE질문에서):

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

예를 들어 1, 5, 17, 35열을 삭제하려면 원하는 경우 또는 로 i !~ /^[159]$/변경 하면 됩니다 .i !~ /^([15]|17|35)$/i !~ /^(1|5|17|35)$/

스크립트에서 하드코딩하는 대신 건너뛸 필드 목록을 전달할 수 있게 하려면 위의 내용을 다음과 같이 변경하세요.

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

테스트를 마치고 결과에 만족하면 입력 파일을 업데이트 awk하도록 변경합니다(예: ).awk -i inplacesed -i

위의 경우 및 를 처리하려면 GNU awk가 FPAT필요 patsplit()합니다 -i inplace.

바라보다awk를 사용하여 csv를 효율적으로 구문 분석하는 가장 강력한 방법은 무엇입니까CSV를 구문 분석하기 위해 awk를 사용하는 방법에 대한 추가 정보.

Answer

당신은 GNU sed(for)를 사용하고 있으므로 -iGNU awk도 가지고 있다고 가정합니다. awk를 사용할 때 sed가 필요하지 않기 때문에 모든 sed 명령을 제거할 수 있습니다. 이 1 awk 스크립트를 실행하기만 하면 됩니다.마그네틱 RE질문에서):

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

예를 들어 1, 5, 17, 35열을 삭제하려면 원하는 경우 또는 로 i !~ /^[159]$/변경 하면 됩니다 .i !~ /^([15]|17|35)$/i !~ /^(1|5|17|35)$/

스크립트에서 하드코딩하는 대신 건너뛸 필드 목록을 전달할 수 있게 하려면 위의 내용을 다음과 같이 변경하세요.

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

테스트를 마치고 결과에 만족하면 입력 파일을 업데이트 awk하도록 변경합니다(예: ).awk -i inplacesed -i

위의 경우 및 를 처리하려면 GNU awk가 FPAT필요 patsplit()합니다 -i inplace.

바라보다awk를 사용하여 csv를 효율적으로 구문 분석하는 가장 강력한 방법은 무엇입니까CSV를 구문 분석하기 위해 awk를 사용하는 방법에 대한 추가 정보.

Question 3

sed1, 5, 9열을 삭제 하는 데 사용됩니다 .

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

sed모든 명령을 하나의 명령으로 연결할 수 있습니다 .

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Answer

sed1, 5, 9열을 삭제 하는 데 사용됩니다 .

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

sed모든 명령을 하나의 명령으로 연결할 수 있습니다 .

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Question 4

선택한 열만 필요하므로 awk또 다른 좋은 옵션일 수 있습니다 . 원하는 열만 선택하는 방법은 다음과 같습니다.

데이터:

os_user:~$ cat csv_file.csv 
Tom,Jerry,23,US
luca,brasi,55,UK

필드 구분 기호 및 인쇄 기능을 사용하여 필수 열을 선택합니다.

os_user:~$ awk -F"," '{print $1","$3}' csv_file.csv 
Tom,23
luca,55

인덱스는 awk1부터 시작합니다. 위 데모에서는 열 1과 3이 인쇄되었습니다. 또한 조건부 행 삭제, 데이터 처리 등을 위해 더욱 복잡한 프로그래밍을 수행할 수 있습니다.

자세한 내용은 다음을 참조하세요. AWK 참조

편집자 주: 질문에 언급되지 않았지만 일부 열에 쉼표가 있다는 것을 몰랐습니다. 의견을 주신 Ed Morton에게 감사드립니다. 올바르게 처리되어야 하는데 위의 솔루션에서는 이를 고려하지 않습니다.

Answer