rsync를 사용하여 대용량 파일을 USB 드라이브로 전송

rsync를 사용하여 대용량 파일을 USB 드라이브로 전송

현재 내부 디스크에서 USB 드라이브로의 전송 프로세스를 최적화하려고 합니다. 전송하려는 파일 크기는 10-30GB입니다. USB 장착 디스크는 USB 3.0 인터페이스와 삼성 SSD입니다. 전체 프로세스를 모니터링할 수 있도록 전체 전송의 진행 상황을 알고 싶습니다. 지금까지 나는 다음 명령을 시도했습니다.

rsync -AW --info=progress2 --no-compress /home/user/rosbags/*.bag /media/upload_disk/
rsync -aWAXE --info=progress2 --no-compress /home/user/rosbags/*.bag /media/upload_disk/

전송이 작동하지만 몇 초 후에는 속도가 상당히 느려집니다. 300-400MB/s에서 시작하고 몇 초 후에 30-50MB/s에 도달합니다. rsync의 블록 크기를 설정하는 방법을 찾으려고 노력 중이지만 로컬에서는 작동하는 것 같습니다. 프로세스 속도를 높이려면 어떤 다른 방법을 시도할 수 있나요?


더 많은 정보를 제공하세요. dmesg는 나에게 다음을 제공합니다:

[66590.546301] usb 1-2: new high-speed USB device number 26 using xhci_hcd
[66590.701545] usb 1-2: New USB device found, idVendor=2109, idProduct=0715, bcdDevice= 0.00
[66590.701550] usb 1-2: New USB device strings: Mfr=1, Product=2, SerialNumber=3
[66590.701553] usb 1-2: Product: VLI Product String
[66590.701555] usb 1-2: Manufacturer: VLI Manufacture String
[66590.701557] usb 1-2: SerialNumber: 000000123B79
[66590.706317] scsi host4: uas
[66590.709257] scsi 4:0:0:0: Direct-Access     Samsung  SSD 870 QVO      SVQ0 PQ: 0 ANSI: 6
[66590.710791] sd 4:0:0:0: Attached scsi generic sg0 type 0
[66590.711859] sd 4:0:0:0: [sde] 7814037168 512-byte logical blocks: (4.00 TB/3.64 TiB)
[66590.712029] sd 4:0:0:0: [sde] Write Protect is off
[66590.712033] sd 4:0:0:0: [sde] Mode Sense: 2f 00 00 00
[66590.712346] sd 4:0:0:0: [sde] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[66590.712722] sd 4:0:0:0: [sde] Optimal transfer size 33553920 bytes
[66590.778611]  sde: sde1
[66590.814915] sd 4:0:0:0: [sde] Attached SCSI disk
[66591.318592] EXT4-fs (sde1): recovery complete
[66591.324257] EXT4-fs (sde1): mounted filesystem with ordered data mode. Opts: (null)

내 생각에 "고속"이란 USB 3.0 속도를 활용하기 위해 디스크를 장착하는 것을 의미해야 합니다. 하지만 내가 뭔가를 간과했을 수도 있습니다.

/etc/fstab에서 디스크는 다음과 같이 마운트됩니다.

LABEL=upload_disk /media/upload_disk/ auto nosuid,nodev,nofail,noauto,rw,users 0 0

현재는 디스크를 연결할 때 수동으로 마운트합니다. 디스크에 직접 쓸 수 있도록 동기화 플래그를 추가하세요. 동기화 플래그를 제거하려고 시도했지만 결과는 동일합니다.

답변1

USB SATA 컨버터를 교체한 후 rsync를 통해 100-200MB/s를 얻었습니다. 이제 DD는 단일 파일에 대해 450-600MB/s의 속도를 제공합니다.

관련 정보