부분적으로 일치하는 키 열이 있는 여러 CSV 파일 병합

Question 1

나는 awk이것을 사용하여 여러 파일을 한 번에 처리합니다.

sed 's/,R[1-9]\+\.csv:/,/g' <(awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv \
|awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}')

산출:

A,1,0,1
B,20,0,4
C,30,1,0
D,0,13,0
E,0,15,2
F,0,19,0
G,0,0,6
H,0,0,8

코드 분석:

awk -F, '{ seen[$1]=seen[$1]","FILENAME":"$2; }
    END{ print HEADER; for (x in seen) print x seen[x] }' R{1..3}.csv

코드의 주요 부분은 모든 파일의 두 번째 열을 모두 하나로 연결하고 동일한 첫 번째 열이 있는 파일에 속한 값을 인쇄합니다. 다음은 키가 첫 번째 열이고 값이 추가 모드 seen인 배열 이름입니다 .,FILENAME:$2

In은 seen[$1]=seen[$1]","FILENAME":"$2;쉼표를 인쇄하고 ,그 뒤에 현재 처리된 FILENAME파일을 인쇄하는 것을 의미합니다.앗, 콜론 :뒤에 두 번째 열 값이 옵니다 $2(첫 번째 열이 동일한 경우). seen[$1]=...동일한 키 인덱스에 추가되고 =seen[$1]...동일한 키 값에 저장됩니다.

이 END진술은,앗이 블록은 모든 레코드/행을 읽을 때 최종적으로 실행되며 for 루프를 사용하여 배열을 반복합니다.본인쇄하고열쇠첫 번째와핵심 가치다음에서.

결과는 다음과 같습니다.

A,R1.csv:1,R3.csv:1
B,R1.csv:20,R3.csv:4
C,R1.csv:30,R2.csv:1
D,R2.csv:13
E,R2.csv:15,R3.csv:2
F,R2.csv:19
G,R3.csv:6
H,R3.csv:8

자, 이제 기존 값이 어떤 파일에서 왔는지, 어떤 파일에 이 데이터가 없는지 알 수 있습니다. 존재하지 않는 파일을 data 로 채우기 위해 0쉘 명령을 사용했습니다.모든 파일 이름을 포함하는 헤더 행 생성그리고 전달앗~처럼HEADER -V변하기 쉬운:

awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" ...

HEADER나중에 이 줄을 사용하겠습니다 0. 현재 입력 형식은 다음과 같습니다.

$ awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv 
,R1.csv:,R2.csv:,R3.csv:
A,R1.csv:1,R3.csv:1
B,R1.csv:20,R3.csv:4
C,R1.csv:30,R2.csv:1
D,R2.csv:13
E,R2.csv:15,R3.csv:2
F,R2.csv:19
G,R3.csv:6
H,R3.csv:8

다음으로 아래의 다른 것을 사용했습니다.앗종료되지 않는 파일 데이터를 채우는 스크립트, 0질문에 대한 다른 답변에서 이 데이터를 복사했습니다."열을 기준으로 서식을 지정하고 누락된 데이터 채우기".

... |awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}'

마지막으로 sed 's/,R[1-9]\+\.csv:/,/g'결과의 기존 파일 이름을 단일 쉼표로 바꾸는 데 사용합니다 ,.

Answer

나는 awk이것을 사용하여 여러 파일을 한 번에 처리합니다.

sed 's/,R[1-9]\+\.csv:/,/g' <(awk -v HEADER="$(printf ",%s:" R{1..3}.csv)" -F, '
    { seen[$1]=seen[$1]","FILENAME":"$2; }
    END { print HEADER; for (x in seen) print x seen[x]}' R{1..3}.csv \
|awk -F, 'NR==1{split($0,arr,/,/);next} {SEP=""; fld=1;
    for (x in arr){printf ($0 ~ arr[x])?SEP""$(fld++):",0";SEP=","};print ""}')

산출:

A,1,0,1
B,20,0,4
C,30,1,0
D,0,13,0
E,0,15,2
F,0,19,0
G,0,0,6
H,0,0,8