CSV를 분할하고 중간 파일 없이 헤더를 유지합니다.

컬 게시물을 위해 100MB 이상의 csv 파일 12개를 관리 가능한 작은 파일로 분할하려고 합니다.

이 작업을 성공적으로 수행했지만 임시 파일과 IO가 너무 많습니다. 이것은 영원이 걸립니다.

누군가 나에게 디스크 IO가 거의 또는 전혀 없이 이 작업을 더 효율적으로 수행할 수 있는 방법을 알려줄 수 있기를 바랍니다.

#!/bin/sh

for csv in $(ls *.csv); do
    tail -n +2 $csv | split -a 5 -l - $RANDOM.split.
done

# chose a file randomly to fetch the header from   

header=$(ls *.csv |sort -R |tail -1 | cut -d',' -f1)

mkdir split

for x in $(/usr/bin/find . -maxdepth 1 -type f -name '*.split.*'); do
    echo Processing $x
    cat header $x >> split/$x
    rm -f $x
done

위 스크립트는 완전히 유효하지 않을 수 있습니다. 기본적으로 이러한 명령을 조합하여 달성했습니다.

업로드가 실패하면 컬 POST가 한 단계 더 수행되도록 하기로 결정했습니다. 모든 것이 게시되어도 데이터가 손실되는 것을 원하지 않았습니다. 그러나 컬 오류가 발생하면 데이터를 redo 폴더에 넣으면 작동합니다.

#!/bin/sh

# working on a progress indicator as a percentage. Never finished.
count=$(ls -1 | wc -l 2> /dev/null | cut -d' ' -f1)

for file in $(/usr/bin/find . -maxdepth 1 -type f); do
    echo Processing $file
    curl -XPOST --data-binary @$file -H "Content-Type: text/cms+csv" $1
done