처리 속도가 느린 스크립트 문제로 파일 파이핑

처리 속도가 느린 스크립트 문제로 파일 파이핑

매우 큰 파일이 있고 파일의 각 줄을 스크립트로 연결하여 처리하고 싶다고 가정해 보겠습니다.

cat large_file.txt | python processor.py

위의 작업이 어떻게 작동하는지 완전히 모르겠습니다. 파일이 반복되는지 여부, 각 줄을 프로세서에 전달하고 프로세서가 완료될 때까지 기다리고 프로세서가 완료되면 다음 줄을 전달합니다. 아니면 전체 파일을 읽은 다음 프로세서에 전달합니까?

정말 이런 경우가 처음이길 바랍니다.

감사해요

답변1

이 명령의 출력은 catPython 스크립트에 STDIN으로 표시됩니다. Python 스크립트는 이 입력을 얼마나 빨리 읽는지, 다음 줄을 읽기 전에 한 줄을 처리할지, 아니면 모든 입력을 읽은 후 처리를 시작할지 여부를 담당합니다.

관련 정보