열 추가, 전체 열을 파일 이름(".csv" 제외)으로 채우기 - BaSH의 여러 파일에 대해

사용 awk및 column:

$ awk '
  NR==1{ sub(/\.csv$/, "", FILENAME) } # remove .csv suffix from FILENAME
  NR>1{ $1=FILENAME }                  # replace the first field with filename
  1                                    # print record
' bcc1_45Fall_10010002.csv | column -t
HUC8                  YEAR  RO_MM
bcc1_45Fall_10010002  1961  74.7
bcc1_45Fall_10010002  1962  69.1
bcc1_45Fall_10010002  1963  52.0
bcc1_45Fall_10010002  1964  130.7
bcc1_45Fall_10010002  1965  32.2
bcc1_45Fall_10010002  1966  85.4

---

셸 루프에서 이 명령을 실행하여 수정된 파일을 디렉터리에 저장할 수 있습니다 modified_files.

mkdir modified_files &&
for i in *.csv; do
  awk 'NR==1{ sub(/\.csv$/, "", FILENAME) } NR>1{ $1=FILENAME }1' "$i" |
    column -t > "./modified_files/$i"
done

---

열을 교체해야 하는데 HUC8이것이 첫 번째 열이 아닌 경우 코드를 다음과 같이 변경합니다.

awk -v search='HUC8' '
  NR==1{
    for(i=1;i<=NF;i++)
      if ($i==search){ fld=i; sub(/\.csv$/, "", FILENAME); break }
  }
  NR>1{ $fld=FILENAME }
  1
' file.csv | column -t

사용밀러, 파일이 "간단한" CSV(쉼표 없음)라고 가정합니다.이내에필드 등 - 완전한 RFC-4180 지원을 원하는 경우 이를 변경할 수 있습니다 --csvlite.--csv

$ cat bcc1_45Fall_10010002.csv
HUC8,YEAR,RO_MM
10010002,1961,74.7
10010002,1962,69.1
10010002,1963,52.0
10010002,1964,130.7
10010002,1965,32.2
10010002,1966,85.4

그 다음에

1. 현재 HUC8열을 바꿉니다.

    $ mlr --csvlite put -S '$HUC8 = substr(FILENAME,0,-5)' bcc1_45Fall_10010002.csv
    HUC8,YEAR,RO_MM
    bcc1_45Fall_10010002,1961,74.7
    bcc1_45Fall_10010002,1962,69.1
    bcc1_45Fall_10010002,1963,52.0
    bcc1_45Fall_10010002,1964,130.7
    bcc1_45Fall_10010002,1965,32.2
    bcc1_45Fall_10010002,1966,85.4
   

2. 별도의 Name열을 추가합니다.

    $ mlr --csvlite put -S '$Name = substr(FILENAME,0,-5)' bcc1_45Fall_10010002.csv
    HUC8,YEAR,RO_MM,Name
    10010002,1961,74.7,bcc1_45Fall_10010002
    10010002,1962,69.1,bcc1_45Fall_10010002
    10010002,1963,52.0,bcc1_45Fall_10010002
    10010002,1964,130.7,bcc1_45Fall_10010002
    10010002,1965,32.2,bcc1_45Fall_10010002
    10010002,1966,85.4,bcc1_45Fall_10010002
   

3. Name열을 첫 번째 열로 추가합니다 .

    $ mlr --csvlite put -S '$Name = substr(FILENAME,0,-5)' then reorder -f Name bcc1_45Fall_10010002.csv
    Name,HUC8,YEAR,RO_MM
    bcc1_45Fall_10010002,10010002,1961,74.7
    bcc1_45Fall_10010002,10010002,1962,69.1
    bcc1_45Fall_10010002,10010002,1963,52.0
    bcc1_45Fall_10010002,10010002,1964,130.7
    bcc1_45Fall_10010002,10010002,1965,32.2
    bcc1_45Fall_10010002,10010002,1966,85.4
   

위의 모든 내용은 결과를 표준 출력에 기록합니다. 파일을 수정하려면 이 -I옵션을 추가하세요. Shell glob ex를 사용하여 한 번에 여러 파일을 전달할 수 있습니다. bcc*.csv또는 *.csv.

[테스트할 때아니요 -I레코드 이질성으로 인해 새 헤더가 필요하지 않는 한 헤더 행은 반복되지 않습니다. 그러나 -I각 파일에는 적절한 헤더가 추가됩니다. ]

$ perl -lne 'BEGIN {$fnr=1};

             if ($fnr == 1) {
               ($fn = $ARGV) =~ s/\.[^.]+$//;
               print "NAME,$_"
             } else {
               print "$fn,$_"
             };

             $fnr++;

             if (eof) {$fnr=1}' *.csv

그러면 파일 이름(.csv "확장자" 제외)이 첫 번째 필드로 추가되고 .csv 파일의 내용이 표준 출력에 인쇄됩니다.

awk와 달리 perl각 개별 파일의 줄 수를 추적하지 않습니다(변수가 있는 총 줄 수만 추적함 $.). 스크립트는 먼저 BEGIN 블록에 변수를 설정한 $fnr다음 읽은 각 줄에 대해 변수를 증가시키고 마지막으로 파일 끝에 도달할 때마다 다시 1로 재설정하여 이 수를 수동으로 유지 관리합니다.

파일 이름을 첫 번째 필드가 아닌 마지막 필드로 추가하도록 쉽게 수정됩니다. 예를 들어 print두 명령문을 다음과 같이 변경합니다.

      print "$_,NAME"
and: 
      print "$_,$fn"

첫 번째 필드가 아닌 줄의 다른 곳에 파일 이름 필드를 삽입해야 하는 경우 Perl의 splice기능을 사용할 수 있습니다.

예를 들어, 다음은 파일 이름을 세 번째 필드로 삽입합니다(perl 배열 인덱싱은 1이 아닌 0에서 시작하므로 세 번째 필드는 $F[2]대신 입니다 $F[3]).

$ perl -F, -lne 'BEGIN {$fnr=1; $field_num=2};

             if ($fnr == 1) {
               ($fn = $ARGV) =~ s/\.[^.]+$//;
               splice @F, $field_num, 0, "NAME";
             } else {
               splice @F, $field_num, 0, $fn;
             };

             print join(",", @F);

             $fnr++;

             if (eof) {$fnr=1}' *.csv

이는 Perl의 -F옵션을 사용하여 쉼표를 필드 구분 기호로 설정합니다. 이는 또한 Perl의 자동 분할 기능을 통해 입력 행을 이름이 지정된 배열로 자동 분할할 수 있습니다 @F(이는 입력 행을 $1, $2, $3 등으로 자동 분할하는 awk의 기본 동작과 유사합니다). 리터럴 문자열 "NAME" 또는 수정된 파일 이름을 @F로 연결한 다음 @F쉼표 문자로 연결된 배열 요소를 인쇄합니다.

마지막으로 파일의 내용을 실제로 변경하려면 Perl의 -i옵션을 사용하십시오. -i이름 바꾸기와 같은 옵션과 함께 "확장자"를 사용하여 원본 파일의 백업을 유지하도록 선택할 수 있습니다 filename.csv.filename.csv.orig-iorig

perl -iorig -lne '......' *.csv

또는

perl -iorig -F, -lne '......' *.csv

그런 다음 awk를 사용하여 파일 이름을 반복하고 열을 인쇄합니다.

for f in *.csv;
do
    head -1 $f > out/$f
    cat $f | awk -v FIN=${f%.csv} 'NR>1 {print FIN, $2, $3}' >> out/$f
done

HUC8       YEAR    RO_MM
bcc1_45Fall_10010002 1961 74.7 
(...)