동일한 줄 일치 [닫기]

내가 매일 작성하는 빠른 스크립트 유형은 다음과 같습니다.

#!/usr/bin/perl
#

use strict;
use warnings;

#data structures we're gonna need
my %positions; #how many times have we seen a given position
my %registered_lines; #the concatenated lines for the given position 
my $dn; # the current dn section we're in

while (<>)
{
    if (/^dn:/) #beginning of a new dn section (and end of the previous one)
    {
        my $printed = 0; #we want to print the dn line only once
        foreach my $key (keys %positions) #we look at all positions seen in last section
        {
            if ($positions{$key} gt 1) # has the current position been seen more than once
            {
                print $dn unless $printed;
                $printed = 1;
                #print "position $key is repeated $positions{$key} times\n";
                print $registered_lines{$key}; #print all the lines with the position
            }
        }

        #reset variables for the next section
        $dn = $_;
        %positions = ();
        %registered_lines = ();
    }

    if (/^rdcPosition/) #new line
    {
        /(\d+)$/; #have a look at the digits at the end of the line
        my $pos = $1;
        if (exists $positions{$pos}) #have we already seen this position
        {
            $positions{$pos} += 1; #increment the counter
            $registered_lines{$pos} .= $_; #record the line
        }
        else
        {
            $positions{$pos} = 1;
            $registered_lines{$pos} = $_;
        }
    }
}

다음과 같이 실행하세요:

perl script.pl < input_data_file

"중복 항목이 있습니까?"에 관심이 있다면 cat <file> | sort | wc -l합계 결과를 비교하는 것이 좋습니다 cat <file> | sort | uniq | wc -l. 중복된 내용이 있는 경우 uniq삭제되고 개수가 줄어듭니다. 차이점을 확인하려면 @Igeorget이 게시한 Perl 스크립트를 확인하세요.

awk '/^dn:/ {d=1} {if (d) {print buf | "sort|uniq -d"; d=0; buf=""} else {buf=buf$0"\n"}} END {print buf | "sort|uniq -d"}'|grep -v '^$'

Perl 버전보다 훨씬 적은 입력 =). 더 간단할 수도 있지만 "어떤 패턴에서나 마지막에" awk 규칙을 실행할 수 없는 것 같아서 약간의 쉘 코드 중복이 필요합니다.