대용량 파일을 내 서버에 배포하는 방법을 찾고 있는데, 모든 대상 서버에 동일한 파일이 있어야 합니다...
파일 크기는 30-600GB입니다.
문제: NFS 공유 소스를 대상에 마운트하고 동시에 복제를 시작합니다.
내 원본 서버에서는 IO 집약적이므로 디스크 활용도가 높고(동일한 파일을 계속해서 읽어야 하기 때문인 것 같습니다) 네트워크 활용도도 거의 최상위에 가깝다는 것을 알 수 있습니다.
UDP 브로드캐스트를 시도했지만 호스팅 환경이 허용하지 않아서 작동하지 않습니다.
살인 사건에 대해 들어본 적이 있지만 실제로 그 사건에 연루된 사람을 찾지 못했습니다(트위터 제외 :)).
내 질문은 다음과 같습니다
- 이 앱(살인 또는 기타 유사한 "동기화" 토렌트)을 사용해 본 경험이 있는 사람이 있나요?
- 가능한 한 가장 짧은 시간에 동일한 파일을 내 서버에 복사할 수 있는 다른 옵션이 있습니까? (파일을 각 대상 서버에 개별적으로 복사할 수 있는데 이렇게 하면 원본 서버가 무릎을 꿇지는 않지만 시간이 많이 걸립니다.)
어떤 아이디어라도 크게 감사하겠습니다.
감사해요,
상서로운
답변1
여러 가지 아이디어가 떠올랐습니다.
이것이 자주 리듬에 맞춰 수행하는 작업이라면 rsync 서버를 설정하고 클라이언트에서 cron 작업을 구성하여 rsync에서 파일을 가져오는 것이 좋습니다.
이 작업을 자주 수행하지 않고 필요에 따라 수행하는 경우에도 rsync를 수동으로 사용할 수 있습니다. 나는 또한 이런 종류의 일을 위해 ansible을 많이 사용하지만 ansible에는 상호 작용이 허용되는 호스트(인벤토리) 목록이 필요하며 SSH 키가 설정된 경우 가장 잘 작동합니다. 귀하의 가능한 임시 명령은 다음과 같습니다
ansible <target hosts> -m copy -a "src=<your file> dest=<location of file on destination host>"
솔직히 말해서, 이 옵션 중 어느 것도 파일을 멀티캐스트할지는 확신할 수 없지만(귀하가 찾고 있는 것과 같은 것 같습니다), 다른 곳에서는 여전히 약간의 성능 향상을 볼 수 있습니다.