대용량 파일의 중복 행 제거

Question 1

현재 수행 중인 프로세스가 메모리 부족 오류로 인해 실패하는 것 같습니다.

여러 데이터 파일 만들기
그들을 하나로 연결하다
결과 정렬, 중복 레코드(행) 삭제

다음과 같은 과정을 수행하시면 될 것 같아요

여러 데이터 파일 만들기
각 항목을 독립적으로 정렬하고 중복 항목을 삭제합니다( sort -u).
정렬된 데이터 파일의 결과 집합을 병합하고 중복 항목을 삭제합니다( sort -m -u).

Answer

현재 수행 중인 프로세스가 메모리 부족 오류로 인해 실패하는 것 같습니다.

여러 데이터 파일 만들기
그들을 하나로 연결하다
결과 정렬, 중복 레코드(행) 삭제

다음과 같은 과정을 수행하시면 될 것 같아요

여러 데이터 파일 만들기
각 항목을 독립적으로 정렬하고 중복 항목을 삭제합니다( sort -u).
정렬된 데이터 파일의 결과 집합을 병합하고 중복 항목을 삭제합니다( sort -m -u).

Question 2

물론 GNU/Linux 도구는 없습니다:무엇Linux에는 전혀 존재하지 않는 SCCS(소스 코드 제어 시스템)의 일부입니다.

따라서 아마도 Unix를 사용하고 있을 것입니다. 있다유형알고리즘은 다음과 같은 문제를 처리할 수 있습니다.UNIX Sort 명령의 알고리즘 세부정보크기를 나타내는 입력중간 사이즈, 크기가 있는 메모리질소, 로 나누어월 일메모리에 적합하고 연속적으로 처리되는 블록입니다.

요구 사항을 충족해야 합니다.

Answer

물론 GNU/Linux 도구는 없습니다:무엇Linux에는 전혀 존재하지 않는 SCCS(소스 코드 제어 시스템)의 일부입니다.

따라서 아마도 Unix를 사용하고 있을 것입니다. 있다유형알고리즘은 다음과 같은 문제를 처리할 수 있습니다.UNIX Sort 명령의 알고리즘 세부정보크기를 나타내는 입력중간 사이즈, 크기가 있는 메모리질소, 로 나누어월 일메모리에 적합하고 연속적으로 처리되는 블록입니다.

요구 사항을 충족해야 합니다.

Question 3

% perl -ne 'if ( $seen{$_}++ ) {
    $count++ ;
    if ($count > 1000000) {
        $seen = () ;
        $count = 0 ;
    }
} else {
    print ;
}' <eof   
a
a
a
b
c
a
a
a
b
c
eof   
a
b
c
%

Answer

% perl -ne 'if ( $seen{$_}++ ) {
    $count++ ;
    if ($count > 1000000) {
        $seen = () ;
        $count = 0 ;
    }
} else {
    print ;
}' <eof   
a
a
a
b
c
a
a
a
b
c
eof   
a
b
c
%

대용량 파일의 중복 행 제거

답변1

답변2

답변3

관련 정보