.csv 파일의 일부 행에서 열이 누락되는 문제 해결

생각나는 가장 간단한 방법은 줄을 쉼표로 나누고 쉼표가 두 개만 있는 곳에 추가 쉼표를 삽입하는 것입니다. 명백한 한계는 실제 값에 쉼표가 있으면 이것이 깨진다는 것입니다.

$ cat test.csv | sed -r 's/^([^,]*),([^,]*),([^,]*)$/\1,\2, ,\3, /g'
"var1", "var2", "var3", "var4", "var5"
"2001", "yellow", "123", "abc", "bcdefg"
"2002", "yellow", "123", "abw", "asdfkl"
"2001", "green", , "abe", 
"2002", "green", , "abp", 
"2001", "blue", "324", "abx", "badsf"
"2002", "blue", "231", "abl", "cpq"

좀 더 일반적인 내용을 위해 Python 스크립트를 작성할 수도 있습니다(CSV 기능내장). 예를 들어 stdin에서 CSV를 읽고 stdout으로 출력하려면 다음을 수행합니다.

#!/usr/bin/env python
import sys
import csv

missing = [3, 5]  # 1-indexed positions of missing values
missing.sort()  # enforce the increasing order
reader = csv.reader(sys.stdin, delimiter=',', skipinitialspace=True)
writer = csv.writer(sys.stdout)
header = next(reader)  # get first row (header)
writer.writerow(header)  # write it back
for row in reader:
    if len(row) < len(header):
        # row shorter than header -> insert empty strings
        # inserting changes indices so `missing` must be sorted
        for idx in missing:
            row.insert(idx - 1, '')
    writer.writerow(row)

실제 CSV 파서를 사용하면 값 및 기타 극단적인 경우에 쉼표나 따옴표를 올바르게 처리한다는 이점이 있습니다. 출력 형식도 올바른 CSV이지만 사용자의 형식과 약간 다릅니다.

$ cat test.csv | python test.py 
var1,var2,var3,var4,var5
2001,yellow,123,abc,bcdefg
2002,yellow,123,abw,asdfkl
2001,green,,abe,
2002,green,,abp,
2001,blue,324,abx,badsf
2002,blue,231,abl,cpq

보시다시피 쉼표 뒤에는 추가 따옴표나 공백이 없습니다. 정말로 필요하다면 작성자를 위해 CSV 언어를 구성하는 것을 고려해 보겠습니다.