항목을 분할하지 않고 대용량 파일을 청크로 분할

다음 제안 사항을 사용하십시오 csplit.

줄 번호로 분할

$ csplit file.txt <num lines> "{repetitions}"

예

1000줄의 파일이 있다고 가정해 보겠습니다.

$ seq 1000 > file.txt

$ csplit file.txt 100 "{8}"
288
400
400
400
400
400
400
400
400
405

결과는 다음과 같은 파일입니다.

$ wc -l xx*
  99 xx00
 100 xx01
 100 xx02
 100 xx03
 100 xx04
 100 xx05
 100 xx06
 100 xx07
 100 xx08
 101 xx09
   1 xx10
1001 total

특정 파일의 줄 수를 기반으로 반복 횟수를 미리 계산하여 반복 횟수를 지정해야 하는 정적 제한을 피할 수 있습니다.

$ lines=100
$ echo $lines 
100

$ rep=$(( ($(wc -l file.txt | cut -d" " -f1) / $lines) -2 ))
$ echo $rep
8

$ csplit file.txt 100 "{$rep}"
288
400
400
400
400
400
400
400
400
405

빈 줄로 나누기

반면에 파일에 포함된 빈 줄로 파일을 간단히 분할하려면 다음 버전을 사용할 수 있습니다 split.

$ csplit file2.txt '/^$/' "{*}"

예

위에서 빈 줄 4개를 추가 file.txt하고 파일을 생성했다고 가정해 보겠습니다 file2.txt. 아래와 같이 수동으로 추가된 것을 볼 수 있습니다.

$ grep -A1 -B1 "^$" file2.txt
20

21
--
72

73
--
112

113
--
178

179

위의 내용은 예제 파일의 해당 숫자 사이에 추가한 것을 보여줍니다. 이제 csplit명령을 실행하면 다음과 같습니다 .

$ csplit file2.txt '/^$/' "{*}"
51
157
134
265
3290

이제 빈 줄로 구분된 4개의 파일이 있는 것을 볼 수 있습니다.

$ grep -A1 -B1 '^$' xx0*
xx01:
xx01-21
--
xx02:
xx02-73
--
xx03:
xx03-113
--
xx04:
xx04-179

인용하다

• Unix Powertools - 35.10 컨텍스트별로 파일 분할: csplit
• csplit: 패턴을 기반으로 파일 분할
• 쉘에서 이식 가능한 방식(예: sed 사용)으로 첫 번째 빈 줄에서 파일을 분할하려면 어떻게 해야 합니까?

레코드 순서에 관심이 없다면 다음과 같이 할 수 있습니다.

gawk -vRS= '{printf "%s", $0 RT > "file.out." (NR-1)%15}' file.in

그렇지 않으면 각 출력 파일에 얼마나 많은 레코드를 넣어야 하는지 알기 위해 먼저 레코드 수를 가져와야 합니다.

gawk -vRS= -v "n=$(gawk -vRS= 'END {print NR}' file.in)" '
  {printf "%s", $0 RT > "file.out." int((NR-1)*15/n)}' file.in

가능한 해결책은 다음과 같습니다.

seq 1 $(((lines=$(wc -l </tmp/file))/16+1)) $lines |
sed 'N;s|\(.*\)\(\n\)\(.*\)|\1d;\1,\3w /tmp/uptoline\3\2\3|;P;$d;D' |
sed -ne :nl -ne '/\n$/!{N;bnl}' -nf - /tmp/file

sed첫 번째 가 두 번째를 스크립팅하도록 허용하여 작동합니다 sed. 두 번째는 sed먼저 빈 줄을 만날 때까지 모든 입력 줄을 수집합니다. 그런 다음 모든 출력 행을 파일에 씁니다. 첫 번째는 sed두 번째 스크립트를 작성하여 출력을 작성할 위치를 지시합니다. 내 테스트 사례에서 스크립트는 다음과 같습니다.

1d;1,377w /tmp/uptoline377
377d;377,753w /tmp/uptoline753
753d;753,1129w /tmp/uptoline1129
1129d;1129,1505w /tmp/uptoline1505
1505d;1505,1881w /tmp/uptoline1881
1881d;1881,2257w /tmp/uptoline2257
2257d;2257,2633w /tmp/uptoline2633
2633d;2633,3009w /tmp/uptoline3009
3009d;3009,3385w /tmp/uptoline3385
3385d;3385,3761w /tmp/uptoline3761
3761d;3761,4137w /tmp/uptoline4137
4137d;4137,4513w /tmp/uptoline4513
4513d;4513,4889w /tmp/uptoline4889
4889d;4889,5265w /tmp/uptoline5265
5265d;5265,5641w /tmp/uptoline5641

이것이 제가 테스트한 방법입니다:

printf '%s\nand\nmore\nlines\nhere\n\n' $(seq 1000) >/tmp/file

그러면 다음과 같은 6000줄 파일이 제공됩니다.

<iteration#>
and
more
lines
here
#blank

...1000번 반복합니다.

위 스크립트를 실행한 후:

set -- /tmp/uptoline*
echo $# total splitfiles
for splitfile do
    echo $splitfile
    wc -l <$splitfile
    tail -n6 $splitfile
done    

산출

15 total splitfiles
/tmp/uptoline1129
378
188
and
more
lines
here

/tmp/uptoline1505
372
250
and
more
lines
here

/tmp/uptoline1881
378
313
and
more
lines
here

/tmp/uptoline2257
378
376
and
more
lines
here

/tmp/uptoline2633
372
438
and
more
lines
here

/tmp/uptoline3009
378
501
and
more
lines
here

/tmp/uptoline3385
378
564
and
more
lines
here

/tmp/uptoline3761
372
626
and
more
lines
here

/tmp/uptoline377
372
62
and
more
lines
here

/tmp/uptoline4137
378
689
and
more
lines
here

/tmp/uptoline4513
378
752
and
more
lines
here

/tmp/uptoline4889
372
814
and
more
lines
here

/tmp/uptoline5265
378
877
and
more
lines
here

/tmp/uptoline5641
378
940
and
more
lines
here

/tmp/uptoline753
378
125
and
more
lines
here

노력하다awk

awk 'BEGIN{RS="\n\n"}{print $0 > FILENAME"."FNR}' big_db.msg