대용량 파일을 다운받아야 하는데 서버에 담기엔 용량이 너무 커서 (~1Tb) 스키마 텍스트 파일에서 필요한 라인만 보관하고 싶습니다.
wget www.foo.com/file.txt | grep -f file.txt
패턴 텍스트 파일에는 bar다음과 같은 패턴이 포함되어 있습니다.
test blah blah foo
blah test bar blah
다양한 조합을 시도했지만 그 중 어느 것도 파일에서 올바른 줄을 유지하지 못했습니다. 가능합니까?
답변1
wget -q URL -O-STDOUT()과 파일의 검색 패턴을 사용하는 간단한 접근 방식은 문제 없이 실행됩니다.
echo HERR > /tmp/search.txt
echo Frau >> /tmp/search.txt
wget -q https://archive.org/stream/DieBibel-AltesUndNeuesTestament-NachMartinLuther/DieBibel-Deutsch-Pdf_djvu.txt -O- | grep -f /tmp/search.txt