줄 번호를 기준으로 대용량 파일을 분할하고 실행한 후 최종 출력을 파일에 추가합니다.

줄 번호를 기준으로 대용량 파일을 분할하고 실행한 후 최종 출력을 파일에 추가합니다.

R 패키지를 사용하고 있습니다. 패키지 내에서 실행하는 데 필요한 입력 파일이 크기 때문에(크기 65GB) 파일을 줄 번호에 따라 청크로 분할한 다음 최종 출력을 단일 파일로 병합하기로 결정했습니다. 또한 PERL을 사용하여 전체 프로세스를 완료하고 싶습니다.

같은 코드를 어떻게 작성해야 하나요?

답변1

split -l numberoflines inputfile

대용량 파일은 xaa, xab, xac 등으로 분할됩니다.

마지막으로 다음과 같이 연결할 수 있습니다.cat xa* >> final_output_file

65줄마다 파일을 분할하려면 다음 명령을 사용하십시오.

split -l 65 inputfile

관련 정보