한 원격 서버에서 다른 원격 서버로 70TB의 데이터 전송

한 원격 서버에서 다른 원격 서버로 70TB의 데이터 전송

먼저 이곳의 장면이 무엇인지 자세히 설명하겠습니다.

우리는 모두 ubuntu 14.04 LTS인 2개의 서버를 보유하고 있으며 /storage/라는 70TB 드라이브가 있습니다. 여기에는 각각 크기가 30GB인 많은 파일과 기타 파일이 포함되어 있습니다. 따라서 둘 다 원격 서버이므로 이 모든 데이터를 /storage/와 동일한 드라이브에 있는 다른 원격 서버로 이동하고 싶습니다.

데이터 손실 없이 빠르고 안정적으로 할 수 있는 방법은 없을까요?

파일 하나만 이동하려고 하면 잘 작동합니다.협회. 어떤 도움이라도 대단히 감사하겠습니다.

답변1

빨리 할 수 ​​있는 방법 없을까요?

이는 원본 서버와 대상 서버 간의 네트워크 연결 속도에 따라 달라집니다.

70TB는 엄청난 양의 데이터입니다. 서버에서 드라이브 연결을 물리적으로 분리하고 대상 서버에 다시 설치하는 것이 좋습니다.

데이터가 손실되지 않도록 안정적인가요?

scp프로그램 자체에서 사용하는 암호화 프로토콜을 통해 무결성을 보장하면 파일을 복사할 수 있습니다. 따라서 장기가 scp0 상태로 끝나는 한 모든 것이 양호하다는 것을 알 수 있습니다.

답변2

언급하신 질문에서 어떤 솔루션을 사용하셨는지 잘 모르겠지만, 이 작업에는 시간이 많이 걸리므로 사용을 적극 권장 rsync합니다 screen.

이렇게 많은 양의 데이터를 사용하면 문제가 발생할 수 있으며(예: 연결이 끊길 수 있음), 프로그램을 다시 시작해야 할 지점을 찾는 데 어려움을 겪을 수 있습니다. Rsync가 이 작업을 수행합니다.

속도에 관해 말하면 네트워크 연결에 따라 다르며 물리적 드라이브를 옮기는 것도 해결책이 될 수 있습니다. rsync의 압축 스위치를 확인하세요. 파일을 쉽게 압축할 수 있으면 도움이 될 수 있습니다. 그렇지 않은 경우 압축을 수행하지 않는 것(불필요한 CPU 사용량 없음)도 좋은 생각일 수 있습니다.

답변3

간단히

  1. 백업하기
  2. 새 서버를 구성하고 ssh루트로 액세스하고(일시적으로 공개 키만 사용하여) rsync디렉터리를 설치 및 생성합니다./storage
  3. 전송 사용 rsync(slackware에서는 기본적으로 활성화되어 있으며 ssh활성화되지 않은 경우 사용을 활성화합니다 rsync -e)
  4. 전송 확인 후 모든 것이 정상 df이면 du루트에 대한 SSH 액세스를 비활성화합니다(Ssh 사용자로만 관리).

관련 정보