나는
Linux 서버: a1 로컬 디스크: /scratch 로컬 디스크의 디렉터리: /scratch/builda
/builda에는 100,000개가 넘는 파일(약 100GB)이 있습니다.
내 컴퓨팅 클러스터에는 a1부터 a100까지 약 100개의 서버가 있습니다.
a:/scratch/builda를 동일한 구조의 a2 - a100에 복사해야 합니다. builda 아래의 모든 파일은 동일한 구조, 권한, 체크섬 등을 복사하고 유지해야 합니다.
나는 rscyn --recursive a1:/scratch/builda a2:/scratch (thro a100)를 시도했습니다. scp를 시도했습니다. 자동화된 ftp를 시도했습니다.
rsycn과 병렬을 사용하는 것을 살펴 보았습니다.
10~12번 실행한 후에는 모두 느리거나 충돌이 발생하고 그 다음에는 속도가 느려지며 언제 완료될지 예측할 수 없습니다.
나는 Grid-ftp에 대해 읽었지만 그것은 복잡해 보이고 글로버스를 잘 이해하지 못합니다.
어떤 도움이라도.
Windows(b1:x:\builda~b2-b100:x:\builda) 및 Linux(a1:/scratch/builda~a2-a100:/scratch/builda)에서는 빠르고 적은 비밀번호(또는 ssh 비밀번호 사용)가 필요합니다. 열쇠)
감사해요