서버 1에서 서버 2로 10TB 파일 전송 속도를 테스트하는 동안 멈췄습니다.

서버 1에서 서버 2로 10TB 파일 전송 속도를 테스트하는 동안 멈췄습니다.

AWS를 통해 한 서버에서 다른 서버로 10TB 파일을 전송하는 것을 테스트하고 있습니다.

파일 시스템을 마운트했습니다.

lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data

다음 명령을 사용하여 10TB 데이터 파일이 생성되었습니다.

dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T

(이것이 맞나요, 아니면 10TB 크기 샘플 파일을 다운로드할 수 있는 다른 좋은 옵션이 있습니까)

ls -laSh10TB의 파일이 다운로드되었음을 표시합니다 . 그러나 다음 df -h과 같이 나타납니다.

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        464M     0  464M   0% /dev
tmpfs           472M     0  472M   0% /dev/shm
tmpfs           472M  596K  472M   1% /run
tmpfs           472M     0  472M   0% /sys/fs/cgroup
/dev/nvme0n1p1  8.0G  8.0G   16K 100% /
tmpfs            95M     0   95M   0% /run/user/1000
/dev/nvme1n1     11T   79G   11T   1% /data
tmpfs            95M     0   95M   0% /run/user/0

10TB 크기는 충분히 활용되지 않습니다. 누군가 이것을 설명할 수 있나요?

또한 다음 명령을 사용하여 한 서버에서 다른 서버로 SCP를 수행할 때:

scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~

파일이 전송되고 있음을 보여줍니다. 하지만 파일 용량이 크기 때문에 아직 전송이 완료되지 않은 상태이고, 100GB를 초과하면 전송 속도가 느려집니다. server1에서 server2로 이동 중입니다. server1 cli에서는 평균 진행률이 시간당 약 25GB로 진행 중인 것으로 표시됩니다. 이것이 내 요구 사항을 달성하는 데 도움이 되는 올바른 방법이라면 누구든지 나를 안내하고 교정할 수 있습니까?

답변1

당신이 사용하고 있기 때문에 scp... 아마도 문제의 원인은 원격 호스트가 연결 활동을 보지 못하고 시간 초과되었기 때문일 수 있습니다.

sshd_config원격 호스트에서 다음 항목을 확인합니다.

ClientAliveInterval 250
ClientAliveCountMax 16

당신이 할 수 있는 또 다른 일은 명령을 사용하여 10TB 파일을 분할하는 것입니다 shar. 그런 다음 scp각 Shar 파일.

관련 정보