다른 파일의 열을 교차 검사하고 누락된 값을 인쇄하는 방법은 무엇입니까?

Question 1

시스템이 지원하는 경우프로세스 교체, 플래그(일치하지 않는 행 표시) 및 플래그(파일에서 패턴 읽기) grep와 함께 사용할 수 있습니다 . 여기서 "file"은 파일의 첫 번째 필드만 인쇄하는 명령입니다. 예를 들어:-v-f

$ grep -vf <(awk '{print $1}' file2) file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

이것이 옵션이 아닌 경우 첫 번째 필드를 파일로 인쇄하고 다음을 사용할 수 있습니다.

$ awk '{print $1}' file2 > file2.names
$ grep -vf file2.names file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

또는 모든 변형 ID를 file2에 저장할 만큼 RAM이 충분하다고 가정하면(매우 오래된 하드웨어를 사용하지 않는 한 이렇게 해야 함) awk이를 사용하여 파일의 첫 번째 필드를 모두 다른 파일에 저장할 수 있습니다.

$ awk 'NR == FNR{a[$1]++;next}; !($1 in a)' file2 file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

Answer

시스템이 지원하는 경우프로세스 교체, 플래그(일치하지 않는 행 표시) 및 플래그(파일에서 패턴 읽기) grep와 함께 사용할 수 있습니다 . 여기서 "file"은 파일의 첫 번째 필드만 인쇄하는 명령입니다. 예를 들어:-v-f

$ grep -vf <(awk '{print $1}' file2) file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

이것이 옵션이 아닌 경우 첫 번째 필드를 파일로 인쇄하고 다음을 사용할 수 있습니다.

$ awk '{print $1}' file2 > file2.names
$ grep -vf file2.names file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

또는 모든 변형 ID를 file2에 저장할 만큼 RAM이 충분하다고 가정하면(매우 오래된 하드웨어를 사용하지 않는 한 이렇게 해야 함) awk이를 사용하여 파일의 첫 번째 필드를 모두 다른 파일에 저장할 수 있습니다.

$ awk 'NR == FNR{a[$1]++;next}; !($1 in a)' file2 file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

Question 2

먼저 두 파일을 모두 정렬합니다(물론 헤더는 제외). 그런 다음 awk또는 를 사용하여 cut첫 번째 열(헤더 제외)을 선택하고 절차적 대체를 사용하여 다음에 없는 열을 선택합니다 comm.file1file2

comm -23 <(awk 'NR>1 {print $1;}' file1) <(awk 'NR >1 {print $1;}' file2)

프로세스 대체 [1]의 명령을 스크립트로 리팩터링하여 약간 단순화할 수 있습니다 col1-nh(예: "첫 번째 열, 제목 없음").

#! /bin/bash

file=$1

awk 'NR>1 {print $1;}' $file

명령은 다음과 같습니다:

comm -23 <(col1-nh file1) <(col1-nh file2)

다시 말하지만, 이는 파일 본문이 다음과 같다고 가정합니다.정렬됨. 그러나 이것은 이고 O(N logN)둘 다입니다 col1-nh. comm여기서 O(N)N은 줄 수이므로 언급한 크기의 파일을 문제 없이 처리할 수 있어야 합니다. 제안된 각 솔루션에 소요되는 시간을 확실히 측정해야 합니다.

[1] @terdon이 호출 NR>1에서 이를 사용하도록 제안했지만 더 이상 필요하지 않으며 명령 자체가 충분히 간단하다고 생각할 수도 있습니다.awksed

Answer