AWS를 통해 한 서버에서 다른 서버로 10TB 파일을 전송하는 것을 테스트하고 있습니다.
파일 시스템을 마운트했습니다.
lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data
다음 명령을 사용하여 10TB 데이터 파일이 생성되었습니다.
dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T
(이것이 맞나요, 아니면 10TB 크기 샘플 파일을 다운로드할 수 있는 다른 좋은 옵션이 있습니까)
ls -laSh
10TB의 파일이 다운로드되었음을 표시합니다 . 그러나 다음 df -h
과 같이 나타납니다.
Filesystem Size Used Avail Use% Mounted on
devtmpfs 464M 0 464M 0% /dev
tmpfs 472M 0 472M 0% /dev/shm
tmpfs 472M 596K 472M 1% /run
tmpfs 472M 0 472M 0% /sys/fs/cgroup
/dev/nvme0n1p1 8.0G 8.0G 16K 100% /
tmpfs 95M 0 95M 0% /run/user/1000
/dev/nvme1n1 11T 79G 11T 1% /data
tmpfs 95M 0 95M 0% /run/user/0
10TB 크기는 충분히 활용되지 않습니다. 누군가 이것을 설명할 수 있나요?
또한 다음 명령을 사용하여 한 서버에서 다른 서버로 SCP를 수행할 때:
scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~
파일이 전송되고 있음을 보여줍니다. 하지만 파일 용량이 크기 때문에 아직 전송이 완료되지 않은 상태이고, 100GB를 초과하면 전송 속도가 느려집니다. server1에서 server2로 이동 중입니다. server1 cli에서는 평균 진행률이 시간당 약 25GB로 진행 중인 것으로 표시됩니다. 이것이 내 요구 사항을 달성하는 데 도움이 되는 올바른 방법이라면 누구든지 나를 안내하고 교정할 수 있습니까?
답변1
당신이 사용하고 있기 때문에 scp
... 아마도 문제의 원인은 원격 호스트가 연결 활동을 보지 못하고 시간 초과되었기 때문일 수 있습니다.
sshd_config
원격 호스트에서 다음 항목을 확인합니다.
ClientAliveInterval 250
ClientAliveCountMax 16
당신이 할 수 있는 또 다른 일은 명령을 사용하여 10TB 파일을 분할하는 것입니다 shar
. 그런 다음 scp
각 Shar 파일.