다른 문자열을 검색하는 데 필요한 66GB의 약 100개의 거대한 "log.txt"(log1.txt, log2.txt, log3.txt 등) 파일이 있습니다.
텍스트 파일에 42.000개의 문자열이 모두 있습니다.
지금은 grep( grep -F -f strings.txt log.txt)을 사용하고 있는데 log.txt를 검색하는데 약 50분 정도 소요됩니다.
모든 파일을 검색하는 더 빠른 방법을 알고 계십니까? 100개 파일을 모두 검색한 후 검색을 위해 새로운 100개 파일 세트가 생성됩니다.
답변1
상품홍보로 비난받을 위험이 있지만 문제가 구조적(일상적인 시간 소모 등)인 경우 제안하고 싶습니다.탄력적 검색.
어떻게 하는지는 모르겠지만 매일 80GB의 파일을 가져오면 Elastic이 답을 반환합니다.밀리초.
면책 조항: 저는 이 회사와 아무런 관련이 없으며 어떤 식으로든 이익을 얻지 못할 것입니다. 단지 그들의 제품을 사용하는 행복한 사용자일 뿐입니다.