반복되는 자유 형식 문자열을 "dd"만큼 빠르게 파일에 쓰려면 어떻게 해야 합니까?

Question 1

$ time perl -e \
    '$count=1024*1024; while ($count>0) { print "x" x 384; $count--; }' > out
real    0m1.284s
user    0m0.316s
sys 0m0.961s
$ ls -lh out
-rw-r--r-- 1 me group 384M Apr 16 19:47 out

"x" x 384(384를 생성하는 문자열) x을 원하는 것으로 바꾸십시오.

각 루프에서 더 큰 문자열을 사용하고 일반 stdout 버퍼링을 우회하여 이를 더욱 최적화할 수 있습니다.

$ perl -e \
   '$count=384; while ($count>0) {
      syswrite(STDOUT, "x" x (1024*1024),  1024*1024);
      $count--;
    }' > out

이 경우 syswrite호출은 기본 write시스템 호출에 1M을 전달하므로 매우 좋습니다. (이것으로 사용자당 약 0.940초를 얻었습니다.)

sync팁: 이전 실행의 플러시가 현재 실행의 I/O를 방해하지 않도록 각 테스트 사이에 이 호출을 호출 해야 합니다 .

참고로 이번에는 다음을 얻습니다.

$ time dd if=/dev/zero bs=1024 count=$((1024*384)) of=./out
393216+0 records in
393216+0 records out
402653184 bytes (403 MB) copied, 1.41404 s, 285 MB/s

real    0m1.480s
user    0m0.054s
sys 0m1.410s

Answer

$ time perl -e \
    '$count=1024*1024; while ($count>0) { print "x" x 384; $count--; }' > out
real    0m1.284s
user    0m0.316s
sys 0m0.961s
$ ls -lh out
-rw-r--r-- 1 me group 384M Apr 16 19:47 out

"x" x 384(384를 생성하는 문자열) x을 원하는 것으로 바꾸십시오.

각 루프에서 더 큰 문자열을 사용하고 일반 stdout 버퍼링을 우회하여 이를 더욱 최적화할 수 있습니다.

$ perl -e \
   '$count=384; while ($count>0) {
      syswrite(STDOUT, "x" x (1024*1024),  1024*1024);
      $count--;
    }' > out

이 경우 syswrite호출은 기본 write시스템 호출에 1M을 전달하므로 매우 좋습니다. (이것으로 사용자당 약 0.940초를 얻었습니다.)

sync팁: 이전 실행의 플러시가 현재 실행의 I/O를 방해하지 않도록 각 테스트 사이에 이 호출을 호출 해야 합니다 .

참고로 이번에는 다음을 얻습니다.

$ time dd if=/dev/zero bs=1024 count=$((1024*384)) of=./out
393216+0 records in
393216+0 records out
402653184 bytes (403 MB) copied, 1.41404 s, 285 MB/s

real    0m1.480s
user    0m0.054s
sys 0m1.410s

Question 2

일반적으로 쉘은 큰 데이터 블록을 처리하는 데 속도가 느린 것으로 알려져 있습니다. 대부분의 스크립트에서는 어떤 데이터 비트가 작을 가능성이 있고 어떤 비트가 클 가능성이 있는지 미리 알 수 있습니다.

외부 프로세스를 포크하고 실행하면 지속적인 오버헤드가 발생하므로 작은 데이터를 처리하려면 내장된 셸을 사용하는 것이 좋습니다.
전문화된 컴파일 도구가 해석된 범용 언어보다 더 효율적이므로 빅 데이터 처리를 위해 외부 전문 도구에 의존하는 것을 선호합니다.

ddread문제 및 통화 에 블록 크기를 사용하십시오 . writestrace(또는 OS에 따라 truss, Trace...)를 사용하여 이를 관찰할 수 있습니다.

$ strace -s9 dd if=/dev/zero of=/dev/null ibs=1024k obs=2048k count=4
✄
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
write(1, "\0\0\0\0\0\0\0\0\0"..., 2097152) = 2097152
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
write(1, "\0\0\0\0\0\0\0\0\0"..., 2097152) = 2097152
✄

대부분의 다른 도구는 최대 버퍼 크기에 대한 상한이 훨씬 낮으므로 더 많은 시스템 호출을 수행하므로 더 많은 시간이 걸립니다. 그러나 이는 비현실적인 벤치마크라는 점에 유의하십시오. 일반 파일, 파이프 또는 소켓에 쓰는 경우 커널은 시스템 호출당 몇 킬로바이트 이상의 데이터를 쓰지 못할 수 있습니다.

Answer

일반적으로 쉘은 큰 데이터 블록을 처리하는 데 속도가 느린 것으로 알려져 있습니다. 대부분의 스크립트에서는 어떤 데이터 비트가 작을 가능성이 있고 어떤 비트가 클 가능성이 있는지 미리 알 수 있습니다.

외부 프로세스를 포크하고 실행하면 지속적인 오버헤드가 발생하므로 작은 데이터를 처리하려면 내장된 셸을 사용하는 것이 좋습니다.
전문화된 컴파일 도구가 해석된 범용 언어보다 더 효율적이므로 빅 데이터 처리를 위해 외부 전문 도구에 의존하는 것을 선호합니다.

ddread문제 및 통화 에 블록 크기를 사용하십시오 . writestrace(또는 OS에 따라 truss, Trace...)를 사용하여 이를 관찰할 수 있습니다.

$ strace -s9 dd if=/dev/zero of=/dev/null ibs=1024k obs=2048k count=4
✄
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
write(1, "\0\0\0\0\0\0\0\0\0"..., 2097152) = 2097152
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
read(0, "\0\0\0\0\0\0\0\0\0"..., 1048576) = 1048576
write(1, "\0\0\0\0\0\0\0\0\0"..., 2097152) = 2097152
✄

대부분의 다른 도구는 최대 버퍼 크기에 대한 상한이 훨씬 낮으므로 더 많은 시스템 호출을 수행하므로 더 많은 시간이 걸립니다. 그러나 이는 비현실적인 벤치마크라는 점에 유의하십시오. 일반 파일, 파이프 또는 소켓에 쓰는 경우 커널은 시스템 호출당 몇 킬로바이트 이상의 데이터를 쓰지 못할 수 있습니다.

Question 3

이것을 사용하시면 됩니다 dd! 먼저 문자열이 파일의 시작 부분에 기록됩니다. 그런 다음 다음을 수행하십시오.

dd if=$FILE of=$FILE bs=$STRING_LENGTH seek=1 count=$REPEAT_TIMES

참고: $STRING_LENGTH가 작은 경우에는 다음을 수행할 수 있습니다.

dd if=$FILE of=$FILE bs=$STRING_LENGTH seek=1 count=$((1024/$REPEAT_TIMES))
dd if=$FILE of=$FILE bs=1024 seek=1 count=$(($REPEAT_TIMES/1024))

(이 예는 STRING_LENGTH가 2의 거듭제곱이고 REPEAT_TIMES가 1024의 배수인 경우에만 작동하지만 이해가 되실 것입니다.)

파일을 덮어쓰는 데 사용하려면(예: 지우기) 다음을 사용하세요.conv=notrunc

Answer