발생 횟수에 따라 인쇄를 제한하는 방법(AWK)

Question

이 Perl 스크립트는 기준("image/", > 100000바이트, 참조자 = '-')과 일치하는 각 로그 행을 IP 주소로 입력된 배열 해시에 저장합니다. 스크립트 끝에서 14개 이상의 항목을 포함하는 모든 IP 주소에 대한 모든 배열 행을 인쇄합니다.

많은 메모리를 사용하지만 각 입력 행을 저장하는 만큼 많지는 않습니다.

한 줄로 압축할 수 있지만 아무 이유 없이 읽을 수 없거나 디버깅할 수 없게 됩니다.

#! /usr/bin/perl

use strict;

my %LOGLINES = ();

while (<>) {
    next unless (/\bimage\//);
    my @F=split("\t");
    next unless ($F[10] eq '-');
    next unless ($F[13] > 100000);

    push @{ $LOGLINES{$F[2]} }, $_;
};  

foreach my $key (sort keys %LOGLINES) {
   print @{ $LOGLINES{$key} } if (scalar @{ $LOGLINES{$key} } > 14);
}

Perl 배열은 1 기반이 아닌 0 기반임을 참고하세요. 따라서 필드 번호는 지정한 필드 번호에서 -1만큼 오프셋됩니다.

여기 보이는 각 IP 주소에 대해 최대 15줄만 저장한 다음, 보이는 일치하는 줄을 인쇄하기 시작하기 때문에 많은 메모리를 사용하지 않는 또 다른 버전이 있습니다. 단점은 출력이 IP 주소별로 정렬되지 않지만 sort -t $'\t' -k2.

#! /usr/bin/perl

use strict;

my %LOGLINES = ();
my %count = ();

while (<>) {
    next unless (/\bimage\//);
    my @F=split("\t");
    next unless ($F[10] eq '-');
    next unless ($F[13] > 12000);

    $count{ $F[2] }++;

    if ($count{ $F[2] } == 15) {
      print @{ $LOGLINES{$F[2]} };   # print all the log lines we've seen so far
      print $_;                      # print the current line
    } elsif ($count{ $F[2] } > 15) {
      print $_;                      # print the current line
    } else {
      push @{ $LOGLINES{$F[2]} }, $_; # store the log line for later use
    }
};

Answer 1