☰

CSV 파일에 특정 열을 이름별로 저장하는 명령줄 주문이 있습니까?

tag-icon • tag-icon shell-script text-processing files csv
CSV 파일에 특정 열을 이름별로 저장하는 명령줄 주문이 있습니까?

이상한 CSV 데이터세트가 있다고 가정해 보겠습니다.

SOS_VOTERID,COUNTY_NUMBER,COUNTY_ID,LAST_NAME,FIRST_NAME,MIDDLE_NAME,SUFFIX,DATE_OF_BIRTH,REGISTRATION_DATE,PARTY_AFFILIATION,RESIDENTIAL_ADDRESS1,RESIDENTIAL_SECONDARY_ADDR,city,RESIDENTIAL_STATE,zip,RESIDENTIAL_ZIP_PLUS4,RESIDENTIAL_COUNTRY,RESIDENTIAL_POSTALCODE,MAILING_ADDRESS1,MAILING_SECONDARY_ADDRESS,MAILING_CITY,MAILING_STATE,MAILING_ZIP,MAILING_ZIP_PLUS4,MAILING_COUNTRY,MAILING_POSTAL_CODE,CAREER_CENTER,CITY,CITY_SCHOOL_DISTRICT,COUNTY_COURT_DISTRICT,CONGRESSIONAL_DISTRICT,COURT_OF_APPEALS,EDUCATIONAL_SERVICE_CENTER_DISTRICT,EXEMPTED_VILLAGE_SCHOOL_DISTRICT,LIBRARY,LOCAL_SCHOOL_DISTRICT,MUNICIPAL_COURT_DISTRICT,PRECINCT_NAME,PRECINCT_CODE,STATE_BOARD_OF_EDUCATION,STATE_REPRESENTATIVE_DISTRICT,STATE_SENATE_DISTRICT,TOWNSHIP,VILLAGE,WARD,PRIMARY-03/07/2000,GENERAL-11/07/2000,SPECIAL-05/08/2001,GENERAL-11/06/2001,PRIMARY-05/07/2002,GENERAL-11/05/2002,SPECIAL-05/06/2003,GENERAL-11/04/2003,PRIMARY-03/02/2004,GENERAL-11/02/2004,SPECIAL-02/08/2005,PRIMARY-05/03/2005,PRIMARY-09/13/2005,GENERAL-11/08/2005,SPECIAL-02/07/2006,PRIMARY-05/02/2006,GENERAL-11/07/2006,PRIMARY-05/08/2007,PRIMARY-09/11/2007,GENERAL-11/06/2007,PRIMARY-11/06/2007,GENERAL-12/11/2007,PRIMARY-03/04/2008,PRIMARY-10/14/2008,GENERAL-11/04/2008,GENERAL-11/18/2008,PRIMARY-05/05/2009,PRIMARY-09/08/2009,PRIMARY-09/15/2009,PRIMARY-09/29/2009,GENERAL-11/03/2009,PRIMARY-05/04/2010,PRIMARY-07/13/2010,PRIMARY-09/07/2010,GENERAL-11/02/2010,PRIMARY-05/03/2011,PRIMARY-09/13/2011,GENERAL-11/08/2011,PRIMARY-03/06/2012,GENERAL-11/06/2012,PRIMARY-05/07/2013,PRIMARY-09/10/2013,PRIMARY-10/01/2013,GENERAL-11/05/2013,PRIMARY-05/06/2014,GENERAL-11/04/2014,PRIMARY-05/05/2015
OH0012781511,87,26953,HOUSEHOLDER,SHERRY,LEIGH,,11/26/1965,08/19/1988,,211 N GARFIELD ST ,   ,BLOOMDALE,OH,44817,,,,  PO BOX 222  ,   ,BLOOMDALE,OH,44817,,,,PENTA JVSD,,,,05,06,WOOD EDUC SRV CTR,,,ELMWOOD LOCAL SD,BOWLING-GREEN,BLOOM TWP BLOOMDALE,87-P-ABO,02,03,02,,BLOOMDALE VILLAGE,,D,,,X,,X,,,,X,,,,,,,,,,,,,D,,X,,,,,,X,,,,,,,,,X,,,,,,,
OH0012781528,87,31122,KEATON,JENNIFER,KAI,,11/27/1968,07/13/2015,,110 N GARFIELD ST ,   ,BLOOMDALE,OH,44817,,,,  PO BOX 16  ,   ,BLOOMDALE,OH,44817,,,,PENTA JVSD,,,,05,06,WOOD EDUC SRV CTR,,,ELMWOOD LOCAL SD,BOWLING-GREEN,BLOOM TWP BLOOMDALE,87-P-ABO,02,03,02,,BLOOMDALE VILLAGE,,,X,,,,,,,,X,,,,,,,,,,,,,,,X,,,,,,X,,,,,,,X,,X,,,,,,,

도시와 지퍼 포스트만 저장하고 싶습니다. 두 이름을 모두 매개변수로 지정하고 해당 두 열만 새 CSV 파일에 저장할 수 있는 간단한 명령줄 철자가 있나요?

답변1

간단한 쉼표로 구분된 열이 있는 경우 awk를 사용하여 수행할 수 있습니다. 첫 번째 줄을 구문 분석하여 필요한 열을 결정한 다음 해당 열을 인쇄합니다.

wanted_columns=city,zip
wanted_columns=",$wanted_columns," awk -F, '
    NR==1 {
        for (i=1; i<=NF; i++) {
            if (index(ENVIRON["wanted_columns"], ","$i",")) {last=i; columns[i]=","}
            columns[last]="\n"
        }
    }
    {
        for (i=1; i<=NF; i++) {
            if (columns[i]) printf "%s%s", $i, columns[i]
        }
    }'

또는 를 사용할 수 있습니다 cut. 파일이 크면 더 빠릅니다. 먼저 다른 도구를 사용하여 헤더 행을 구문 분석하여 열 번호를 결정합니다.

wanted_columns=city,zip
{
  IFS= read header;
  cut_spec=$(printf %s "$header" |
             wanted_columns=",$wanted_columns," awk -v RS=, '
                 index(ENVIRON["wanted_columns"], ","$0",") {printf "%d,", NR}'
             );
  { printf %s\\n "$header"; cat; } | cut -d , -f "${cut_spec%,}";
}

CSV 파일이 인용된 일부 열에 포함된 열이나 줄 바꿈이 있을 수 있는 실제 CSV 파일인 경우 적절한 CSV 도구를 사용하세요. 예를 들어,파이썬:

#!/usr/bin/env python2
import csv, sys
wanted_columns = set(sys.argv[1:])
reader = csv.reader(sys.stdin)
header = reader.next()
columns = [i for i in range(len(header)) if header[i] in wanted_columns]
writer=csv.writer(sys.stdout)
writer.writerow(sys.argv[1:])
for row in reader: writer.writerow([row[i] for i in columns])

(원하는 열 이름을 스크립트에 인수로 전달합니다.)

답변2

삽입이 없으면 ,(즉 삽입이 없음을 의미 ...,"foo,bar",...) 다음을 사용할 수 있습니다 cut.

cut -d, -f13,15

로 구분된 열 13과 15만 선택합니다 ,. 열 13과 15가 올바른 이유는 무엇입니까? 나는 쉼표를 세었다

head -n 1 data.csv | sed 's/zip,.*/,/' | tr -dc , | wc -c

설명: 입력( )의 첫 번째 줄을 가져와서 head"zip"을 찾아 해당 줄과 나머지 줄을 쉼표( )로 바꾼 다음 쉼표( ) 및 개수( ) sed가 아닌 모든 항목을 삭제합니다 . 따라서 "a,zip,b"는 "a,,"로 변환되고 ",,"는 2로 변환됩니다. "zip"은 두 번째 필드입니다.trwc

관련 정보