파일 내용을 가져오는 쉘 스크립트

Question 1

input.log가 입력일 때 gawk와 함께 작동하는 이것이 있지만 여전히 awk로 알아내려고 노력하고 있습니다.

cat input.log |
 gawk -F"|" \
    #print the header
 'BEGIN{print"Type, Number,ID,submitted,notsubmitted"}
    #only work on non empty lines
 NF>0{ 
     #create an ID from the first three fields
    n=$1","$2","$3; 
        #everytime the ID pops up, increment subindex 1 or 2 depending on the value of field 4
        if($4=="S:1"){
            array[n][2]++}
        else{
            array[n][1]++}
}
     #print the final array
END{for(i in array){
       #if the value has never been seen declare it to be zero
        if(array[i][1]){
            m=array[i][1]}
        else {
            m=0}
        if(array[i][2]){
            n=array[i][2]}
        else {
            n=0}
    print i","m","n}
}'

Answer

input.log가 입력일 때 gawk와 함께 작동하는 이것이 있지만 여전히 awk로 알아내려고 노력하고 있습니다.

cat input.log |
 gawk -F"|" \
    #print the header
 'BEGIN{print"Type, Number,ID,submitted,notsubmitted"}
    #only work on non empty lines
 NF>0{ 
     #create an ID from the first three fields
    n=$1","$2","$3; 
        #everytime the ID pops up, increment subindex 1 or 2 depending on the value of field 4
        if($4=="S:1"){
            array[n][2]++}
        else{
            array[n][1]++}
}
     #print the final array
END{for(i in array){
       #if the value has never been seen declare it to be zero
        if(array[i][1]){
            m=array[i][1]}
        else {
            m=0}
        if(array[i][2]){
            n=array[i][2]}
        else {
            n=0}
    print i","m","n}
}'

Question 2

지난 5분 이내에 수정된 로그 파일을 찾으려면 find예를 들어 .

find data_logs/ -type f -name 'abc.log.*' -mmin -6

다음보다 적게 수정된 로그 파일을 찾습니다.6몇 분 전만 해도 대부분의 경우 이 정도면 충분했습니다. 정확한 파일 수정 시간이 필요한 경우 다음을 사용하십시오.

find data_logs/ -type f -name 'abc.log.*' \( -mmin -5 -o -mmin 5 \)

5분 전 또는 정확히 5분 전에 수정된 파일은 찾지 않습니다.

에서 man find:

-mmin n
    File's data was last modified n minutes ago.

그리고:

숫자 매개변수는 다음과 같이 지정할 수 있습니다.
 +n     for greater than n,
 -n     for less than n,
  n     for exactly n.

Answer

지난 5분 이내에 수정된 로그 파일을 찾으려면 find예를 들어 .

find data_logs/ -type f -name 'abc.log.*' -mmin -6

다음보다 적게 수정된 로그 파일을 찾습니다.6몇 분 전만 해도 대부분의 경우 이 정도면 충분했습니다. 정확한 파일 수정 시간이 필요한 경우 다음을 사용하십시오.

find data_logs/ -type f -name 'abc.log.*' \( -mmin -5 -o -mmin 5 \)

5분 전 또는 정확히 5분 전에 수정된 파일은 찾지 않습니다.

에서 man find:

-mmin n
    File's data was last modified n minutes ago.

그리고:

숫자 매개변수는 다음과 같이 지정할 수 있습니다.
 +n     for greater than n,
 -n     for less than n,
  n     for exactly n.

Question 3

교차 게시 문제https://stackoverflow.com/q/57377173/3220113보류되었습니다. 여기에 허용된 답변을 복사하겠습니다. 다른 질문은 삭제할 수 있습니다.

파일의 경우: 먼저 awk를 사용하여 스트림을 쉽게 처리할 수 있도록 만듭니다(약간 더 나은 성능을 위해 모두 awk에서 수행할 수 있음).

sed -nr 's/\|/,/g;s/(^R_MT,.*),S:([^ ]) *$/\1 \2/p' <(zcat abc.log.2019041607.gz)

결과(추가 테스트 라인 추가 후)

R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 1
R_MT,D:1234,ID:413 0
R_MT,D:1234,ID:413 0
R_MT,D:1234,ID:413 0
R_MT,D:1234,ID:413 0
R_MT,D:1234,ID:413 0
R_MT,D:1234,ID:414 1
R_MT,D:1234,ID:414 1
R_MT,D:1235,ID:413 1
R_MT,D:1235,ID:413 1

이제 배열 a를 필드 이름으로 사용하여 awk에서 계산합니다.

sed -nr 's/\|/,/g;s/(^R_MT,.*),S:([^ ]) *$/\1 \2/p' <(zcat abc.log.2019041607.gz) |
   awk '{a[$1]; if ($2>0) notsub[$1]++; else submit[$1]++;}
        END {for (i in a) print i "," submit[i]+0 "," notsub[i]+0;}
       '

5개 파일의 경우 먼저 원하는 결과를 결정하세요. 각 파일마다 다른 출력 파일을 갖습니다. 다음과 같은 루프를 사용하십시오.

while IFS= read -r filename; do
   ... <( zcat "${filename}") ...
done < <(find datalogs -type f -name "abc*" -mmin -5)

5개 파일의 결과가 단일 합계에 추가됩니다.

... <( find datalogs -type f -name "abc*" -mmin -5 -exec zcat {} \;) ...

Answer