기가바이트 크기의 파일을 통해 작업할 때 과도한 메모리 사용으로 인해 grep이 충돌합니다.

grep 명령이 있습니다

grep -Fvf cleaned1 cleanedR > cleaned2

너무 많은 메모리를 사용하여 컴퓨터를 실행하고 종료합니다.

• cleanR은 파일 목록(1,400만 개)이며 dowork.sh cleanR을 통해 무언가를 실행해야 하며 완료된 모든 작업은 clean1에 인쇄됩니다(다른 정렬 순서로 되어 있으므로 diff가 작동하지 않음).
• clean1은 파일 목록입니다(1,000만).
• 다른 작업을 수행하기 위해 dowork.sh 작업을 취소해야 했지만 나중에 다른 목록(dowork.sh clean2)을 통해 다시 시작할 수 있었습니다. clean2는 아직 존재하지 않습니다
• clean2는 4백만 개의 파일 목록이 될 것입니다. 아직 dowork.sh를 실행하지 않았습니다.
• 기본적으로 다음 계산을 수행해야 합니다(뺄셈 연산). 정리된 파일 목록 R - 정리된 파일 목록 1 = 정리된 파일 목록 2

clean1 및 cleanR은 절대 파일 구조를 포함하는 파일이며 수백만 개의 파일이 있으며 이는 대용량 파일입니다. clean1은 1.3G이고 cleanR은 1.5G입니다.

약 30G의 여유 메모리가 있었지만 메모리를 모두 사용하여 충돌이 발생했습니다.

여기서 grep이 왜 ram을 사용하는지 궁금합니다. ram이 다른 임시 디렉토리를 사용하도록 할 수 있나요? 정렬에는 -T 옵션이 있습니다. 그래서 나는 grep과 비슷한 방법을 찾고 있습니다.

나는 다른 아이디어에 열려 있습니다.

-f는 문자열 정규 표현식 대신 수백만 개의 표현식(파일 이름)으로 clean1을 실행합니다. 한 줄에 1개의 파일 -F는 해당 줄에서 정확히 일치합니다. 파일 이름은 복잡할 수 있고 grep은 일부 문자를 우리가 원하지 않는 정규식 문자로 착각할 수 있으므로 전체 줄 일치를 수행합니다. -v는 빼기/제거 연산입니다.