2개의 csv 파일의 여러 열을 비교하고 하나를 다른 파일의 열로 바꿉니다.

이 답변은 다음을 사용하는 솔루션으로 시작됩니다.밀러csvsql, Miller의 솔루션과 함께 Miller를 계속 사용하십시오.csvkit, 그런 다음 사용되는 솔루션으로 끝납니다 csvsql.

---

사용밀러( mlr) 먼저 (왼쪽) 다음 명명된 필드의 데이터를 결합합니다 fileA.fileB

account,code,date,type,pc,vol,bs

...그런 다음 account1필드 이름을 바꿉니다 account(필드가 있는 레코드의 경우 account1결합된 레코드만 해당).

그런 다음 필드 순서를 변경하고 출력에서 ​​불필요한 필드를 제거합니다.

mlr --csv \
    join -f fileA -j account,code,date,type,pc,vol,bs --ul then \
    rename account1,account then \
    cut -o -f account,temp1,code,type,date,subtask,pc,toy,vol,bs,sub fileB

질문의 데이터 출력을 제공합니다.

account,temp1,code,type,date,subtask,pc,toy,vol,bs,sub
CCCCC,GFHD,ASDF,BS,21122022,STOP,C,CAT,1000,S,MATH
6576,WEQR,TYRE,BS,54122022,OBCD,K,BAT,5000,F,SCSC
7654,GHAD,LOPI,CV,9089022,KGAD,G,BSEE,5908,J,IOYU

두 입력 파일의 필드 순서는 관련이 없습니다.

조인에 사용할 수 있는 필드를 모르는 경우 공통 필드 이름을 개별적으로 계산할 수 있습니다(불행히도 Miller는 "자연 조인" 작업을 수행할 수 없지만 조인할 필드 이름의 명시적인 목록을 제공해야 합니다).

mlr --csv put -q '
    if (NR == 1) {
        for (k in $*) { @f[k] = 1 }
    } else {
       for (k in @f) {
           is_null($[k]) { unset @f[k] }
       }
    }
   end {
       common_fieldnames = joink(@f,",");
       emit common_fieldnames
   }' fileA fileB

주어진 데이터에 대해 다음 CSV 데이터세트를 출력합니다.

common_fieldnames
"account,code,type,date,pc,vol,bs"

도착하다오직--csv및 와 결합된 것처럼 헤더가 없고 따옴표가 없는 CSV 출력을 생성하는 옵션을 사용하여 쉼표로 구분된 목록을 가져옵니다 .--headerless-csv-output--quote-none

---

완전히 다른 접근 방식 csvsql은csvkit자연 왼쪽 조인을 수행한 다음 mlr출력을 사후 처리하는 데 사용됩니다.

csvsql --query 'SELECT * FROM "fileA" NATURAL LEFT JOIN "fileB"' fileA fileB |
mlr --csv \
    put 'is_not_null($account1) { $account = $account1 }' then \
    cut -o -f account,temp1,code,type,date,subtask,pc,toy,vol,bs,sub

이렇게 하면 두 파일 사이에 어떤 필드가 공통인지 걱정할 필요가 없습니다.

원하는 경우 SQL을 사용하여 모든 작업을 수행할 수도 있습니다.

csvsql --query '
    CREATE TEMPORARY TABLE tmp AS SELECT * FROM "fileA" NATURAL LEFT JOIN "fileB";
    UPDATE tmp SET account = account1 WHERE account1 IS NOT NULL;
    SELECT account,temp1,code,type,date,subtask,pc,toy,vol,bs,sub FROM tmp;' fileA fileB

#!/bin/bash

IFS=, hdrs_to_check="$*"
col_to_change="account"
col_with_value="account1"

awk -F, -v hdrs_to_check="$hdrs_to_check" \
        -v col_to_change="$col_to_change" \
        -v col_with_value="$col_with_value" '

function make_compound_key(hdrs_2_idx_map) {
    key = ""
    for (i = 1; i <= hdrs_to_check_arr_size; i++) {
        hdr_name = hdrs_to_check_arr[i]
        hdr_idx = hdrs_2_idx_map[hdr_name]
        key = key$hdr_idx","
    }
    return key
}

BEGIN {
    hdrs_to_check_arr_size = split(hdrs_to_check, hdrs_to_check_arr, ",")
}

#Both file headers processing
FNR == 1 {
    #Map file_a and file_b headers to their indexes.
    for (i = 1; i <= NF; i++) {
        if (NR == 1) {
            f_b_hdr_2_idx_map[$i] = i
        } else {
            f_a_hdr_2_idx_map[$i] = i
        }
    }
    next
}

#file_b processing
FNR == NR {
    key = make_compound_key(f_b_hdr_2_idx_map)

    # Duplicate keys are not changing the "account1" value, it is fixed
    # from the first key occurence.
    if (!(key in file_b_dct)) {
        file_b_dct[key] = $f_b_hdr_2_idx_map[col_with_value]
    }

    next
}

#file_a processing
FNR != NR {
    key = make_compound_key(f_a_hdr_2_idx_map)

    # "file_a_updated_dct" is needed to prevent following lines
    # with same "key" be changed. These lines are left unchanged.
    if ((key in file_b_dct) && !(key in file_a_updated_dct)) {
        $f_a_hdr_2_idx_map[col_to_change] = file_b_dct[key]         
        file_a_updated_dct[key]
    }

    print
}
' file_b.txt OFS=, file_a.txt
#' file_b.txt OFS=, file_a.txt | column -s, -t

용법:

$ ./my_script.sh account code date type pc vol bs