매우 큰 XML 파일을 특정 줄 수의 작은 청크로 분할

매우 큰 XML 파일을 특정 줄 수의 작은 청크로 분할

다음은 대용량 XML 파일(2GB)에서 처음 100000개의 행을 추출하는 방법입니다.

head source.xml -n 100000 > part.xml

전체 파일이 분리될 때까지 어떻게 100000줄(또는 특정 파일 크기의 덩어리)로 계속 분할할 수 있나요?

답변1

당신이 사용할 수있는

split -l lines_per_file --additional-suffix=.xml source.xml part

그러면 파일을 읽고 한 줄에 여러 덩어리 source.xml로 나눕니다 lines_per_file. 결과는 일련의 파일 partaa.xml,,,,... 에 기록됩니다.partab.xmlpartac.xml

예를 들어 , 다른 수의 접미사 문자를 사용하려는 경우 이 -a옵션을 사용하여 숫자를 지정할 수 있습니다. -a 1파일 이름을 parta.xml, partb.xml, partc.xml, ...

-b size_in_bytes줄 수 대신 파일 크기의 청크로 분할하려면 -l lines_per_file.

결과 파일은 유효하지 않은 XML 파일일 가능성이 높습니다(입력에 분할할 라인/바이트가 너무 적다는 이유로 파일을 얻지 않는 한).

관련 정보