나는 어리둥절합니다. 이것은 매우 간단한 질문입니다. twarcI'm running이라는 명령줄 유틸리티가 있습니다 . 이렇게 하면 상당히 큰 파일을 만들 수 있습니다. 계속 실행하고 다운스트림 처리를 위해 5GB 파일을 생성하고 싶습니다. 다음 명령을 실행하려고 합니다.
twarc "wordlist" > outputfile.jsonl | split -b 5G
그런데 하루아침에 파일이 10.4GB로 늘어났습니다. 수동으로 실행할 수도 있지만 | split -b 5G그러고 싶지 않습니다.
저는 분할(GNU coreutils 8.25) 및 Windows Linux 하위 시스템을 사용하고 있습니다.
답변1
댓글을 보니 답이 바로 눈앞에 있었어요!
문제는 내가 명령의 표준 출력을 작성하고 있다는 것입니다.파일로, 효과적으로 명령을 종료합니다. 이것을 파이프로 분할하려면 다음이 필요합니다.파일에 쓰지 않음. 예를 들어:
twarc "wordslist" | split -b 1G
다른 사람에게 도움이 되길 바랍니다!