AWK - 열에 관한 질문

Question 1

이는 파일을 한 번에 탐색하며 전체 파일을 메모리에 저장할 필요가 없습니다. 각 대상 파일에 대해 열린 파일 설명자를 유지합니다.

awk -F '\t' '
    NR==FNR {population[$1]=$2; next}
    FNR==1 {
        for (i=1; i<=NF; i++) {
            destination[i] = population[$i] ".txt"
        }
    }
    {
        delete separator
        for (i=1; i<=NF; i++) {
            printf "%s%s", separator[destination[i]], $i > destination[i]
            separator[destination[i]] = FS
        }
        for (file in separator) {
            printf "\n" > file
        }
    }
' populations.txt database.txt

Answer

이는 파일을 한 번에 탐색하며 전체 파일을 메모리에 저장할 필요가 없습니다. 각 대상 파일에 대해 열린 파일 설명자를 유지합니다.

awk -F '\t' '
    NR==FNR {population[$1]=$2; next}
    FNR==1 {
        for (i=1; i<=NF; i++) {
            destination[i] = population[$i] ".txt"
        }
    }
    {
        delete separator
        for (i=1; i<=NF; i++) {
            printf "%s%s", separator[destination[i]], $i > destination[i]
            separator[destination[i]] = FS
        }
        for (file in separator) {
            printf "\n" > file
        }
    }
' populations.txt database.txt

Question 2

나는 이것이 최선의 접근 방식이 아니라고 생각합니다. 왜냐하면 우리가 가지고 있는 지역에 1을 더한 만큼 여러 번 Database.txt를 읽어야 하기 때문입니다. 아쉽게도 다른 방법은 생각나지 않았습니다.

Database.txt를 바꿉니다:

awk '{for(i=1;i<=NF;i++){a[NR,i]=$i}}NF>p{p=NF}END{for(j=1;j<=p;j++ ){str=a[1,j];for(i=2;i<=NR;i++){str=str" "a[i,j];}print str}}' 데이터베이스.txt > 데이터베이스.tmp

더 읽기 쉽습니다(동일한 명령):

awk '
{ 
    for (i=1; i<=NF; i++)  {
        a[NR,i] = $i
    }
}
NF>p { p = NF }
END {    
    for(j=1; j<=p; j++) {
        str=a[1,j]
        for(i=2; i<=NR; i++){
            str=str" "a[i,j];
        }
        print str
    }
}' database.txt > database.tmp

2. ids가 포함된 파일을 읽고 전치된 Database.tmp에서 모든 ID를 grep합니다.

while read id region ; do grep -m 1 $id database.tmp >> $region.txt.tmp ; done < population.txt

3. 모든 Region.txt.tmp 파일을 필요한 형식으로 바꿉니다.

for region_file in *txt.tmp ; do awk '{for(i=1;i<=NF;i++){a[NR,i]=$i}}NF>p{p=NF}END{for(j=1;j<=p;j++){str=a[1,j];for(i=2;i<=NR;i++){str=str" "a[i,j];}print str}}' $region_file > ${region_file%.tmp} ; done

4. 임시 파일 모두 삭제

Answer