네 번째 파일을 기반으로 세 개의 CSV 파일을 업데이트하는 방법

Question 1

데이터가 게시한 것과 정확히 같다고 가정하면 일반 bash에서 다음을 수행할 수 있습니다. (경고하다: 파일을 제자리에서 수정합니다. 테스트 전 백업을 꼭 해주시기 바랍니다. )

처음 두 파일을 관리하는 여러 기능:

next_id() {
  file="$1"
  # assumes file is sorted by id
  echo $(( $(tail -n 1 $file|cut -d, -f1) + 1 ))
}

가설파일 1그리고파일 2id 열을 기준으로 정렬하면 마지막 행의 첫 번째 부분을 가져와서 1씩 증가시켜 다음 ID를 생성합니다.

find_or_create_id() {
  file="$1"
  item="$2"
  # check if we already have that item
  id=$(grep -m 1 ",$item$" "$file" 2> /dev/null)
  if [[ $? -ne 0 ]] ; then
    # generate the next id, append
    id=$(next_id "$file")
    echo "$id,$item" >> "$file"
  else
    # got it already
    id=${id/,*}
  fi
  echo "$id"
}

처음 두 파일 중 하나에서 항목(vname 또는 dname)을 찾습니다. 발견되면 기존 ID가 반환됩니다. 그렇지 않은 경우 다음 ID를 생성하여 파일에 다시 저장하십시오.

올바른 하위 문자열이 있으면 주요 부분은 매우 간단합니다.

while read line ; do
  col1=${line/,*}  # everything up to first ,
  col3=${line//*,} # everything after last ,
  col2=${line%,*}  # everything after first ,
  col2=${col2#*,}  # everything before last ,
  id1=$(find_or_create_id file1 "$col1")
  id2=$(find_or_create_id file2 "$col2")
  # don't insert duplicates
  if ! grep -m 1 -q "^$id1,$id2," file3 ; then
    echo "$id1,$id2,$col3" >> file3
  fi
done < <(tail -n +2 file4)

이것은 것이다아니요마지막 파일을 순서대로 삽입하면 끝에 새 줄이 추가됩니다.

즉, 이러한 파일 중 크기가 큰 경우 데이터베이스가 적합할 것입니다. 데이터베이스 서버가 필요하지 않다면 SQLite를 고려해보세요.

순차 ID에 신경 쓰지 않고(단순히 다르다는 점만) integer primary key autoincrement테이블 1과 테이블 2에 ID(vname 및 dname의 고유 키 포함)를 추가했다고 가정하면 업데이트는 다음과 같습니다(아마도 이 방법보다 더 나을 것입니다). 좀 더 미묘한 접근 방식 insert or ignore):

insert or ignore into tab1(vname) select distinct vname from tab4;
insert or ignore into tab2(dname) select distinct dname from tab4;

insert or ignore into tab3(id1,id2,value)
  select tab1.id, tab2.id, tab4.value
  from tab4
  left join tab1 on tab1.vname = tab4.vname
  left join tab2 on tab2.dname = tab4.dname;

SQLite "는 .

.separator ,
.import fileX tabX

적어도 현재 가지고 있는 샘플에 대해서는 Right Thing™을 수행하십시오.

간단한 아키텍처:

create table tab1 (id integer primary key autoincrement, vname text);
create unique index tab1_vname on tab1(vname);

create table tab2 (id integer primary key autoincrement, dname text);
create unique index tab2_dname on tab2(dname);

create table tab3 (id1 int, id2 int, value text,
                   constraint tab3_pk primary key(id1, id2));

create table tab4 (vname text, dname text, value text);

Answer