☰

네트워크를 통해 빅데이터를 복제하는 방법은 무엇입니까?

tag-icon • tag-icon linux centos ssh networking rsync
네트워크를 통해 빅데이터를 복제하는 방법은 무엇입니까?

Centos 7이 설치된 HP Microserver 8세대가 있는데 Bay Area에는 NTFS로 설치된 하드 드라이브 1개(2TB)만 있습니다.

네트워크를 통해 로컬에서 파일(한 번에 약 100GB)을 복사하려고 합니다.

나는 다음을 시도했습니다 :

  • 통과하다Samba
  • 통과하다SCP
  • 통과하다Rsync

이 방법의 일반적인 문제는 일반적으로 다음과 같은 오류 메시지입니다.

  • 시스템이 읽기 전용이고 I\O 오류가 있습니다(하드 드라이브가 문제를 일으킬 가능성이 높으므로 교체했지만 확실하지 않음).
  • 디스크가 꽉 찼고(방금 본 내용은 를 사용하고 있음 Samba) 디스크가 92% 비어 있습니다.
  • mkstemp 실패 작업은 허용되지 않습니다

그래서 저는 빅데이터를 복제하는 더 좋은 방법이 있을 것이라고 생각했습니다. 그렇죠?

또한 방금 이것을 시도했습니다.

rsync -rvz -e "ssh" * [email protected]:/folder

이 오류가 발생했습니다.

rsync: writefd_unbuffered failed to write 16385 bytes [sender]: Broken pipe (32)
rsync: write failed on "/folder/movie.mkv": Input/output error (5)
rsync error: error in file IO (code 11) at receiver.c(322) [receiver=3.0.9]
rsync: connection unexpectedly closed (490 bytes received so far) [sender]
rsync error: error in rsync protocol data stream (code 12) at /BuildRoot/Library/Caches/com.apple.xbs/Sources/rsync/rsync-47/rsync/io.c(453) [sender=2.6.9]

토렌트 답변은 너무 많은 데이터를 복사하는 유일한 효율적인 방법이 될 수 없습니다. 토렌트가 없는 Linux 기반 솔루션이 필요합니다.

--

고쳐 쓰다:

@zeppelin이 4~5GB 파일 대신 하나의 대용량 파일을 사용해 보라고 제안한 후 다음을 사용하여 대용량 아카이브를 만들었습니다.tar -zcvf movies.tar.gz *

아카이브가 있으면 다음을 수행합니다.

ls -alh movies.tar.gz 
-rw-r--r--  1 Abude  staff    77G Nov 11 13:54 movies.tar.gz

나는 rsync다음과 같은 문제를 겪었습니다.

rsync -avz -e 'ssh' --progress movies.tar.gz [email protected]:/nas/media
/etc/profile.d/lang.sh: line 19: warning: setlocale: LC_CTYPE: cannot change locale (UTF-8): No such file or directory
building file list ... 
1 file to consider
movies.tar.gz
 82671089587 100%   25.36MB/s    0:51:49 (xfer#1, to-check=0/1)
rsync: mkstemp "/nas/media/.movies.tar.gz.ezRUOM" failed: Operation not permitted (1)

sent 82698841857 bytes  received 42 bytes  26586993.06 bytes/sec
total size is 82671089587  speedup is 1.00
rsync error: some files could not be transferred (code 23) at /BuildRoot/Library/Caches/com.apple.xbs/Sources/rsync/rsync-47/rsync/main.c(992) [sender=2.6.9]

답변1

주관적으로 말하면 대량의 데이터를 복사하려면 개인 토렌트가 최선의 선택 중 하나일 수 있습니다.

하지만 이곳은 토렌트 튜토리얼을 위한 장소가 아닙니다.

당신은 볼 수 있습니다여기예를 들어 또는 비슷한 것을 찾으십시오.

개인 토렌트를 만드는 방법

답변2

rsync최고의 솔루션입니다. -z압축을 건너뛰도록 삭제하는 것이 좋습니다 . 압축하면 임시로 압축된 파일을 위해 추가 디스크 공간이 소모될 수 있습니다. 따라서 다음을 사용해야 합니다.

rsync -av -e "ssh" * [email protected]:/folder

답변3

고쳐 쓰다

권한 오류(아래)는 파일에서 "-a"(--archive) 플래그를 제거하는 것으로 요약됩니다.동기화복사된 파일의 소유권과 권한을 유지하려는 시도를 방지하는 명령입니다.

로컬 "dd" 테스트를 실행한 후 디스크 오류로 인해 파일 시스템이 손상되었을 수 있는 낮은 수준의 IO 오류가 감지되었습니다.

허용되지 않는 작업(1)

마지막으로 본 오류는 사용자 "abude"에게 쓰기 권한이 없는 단순한 권한 문제일 가능성이 높습니다./nas/미디어/) 폴더를 공개적으로 쓰기 가능하게 만들어 보십시오.

 chmod a+rwx /nas/media

rsync 명령을 반복하십시오.

-------(OP가 현재 NTFS 파티션을 사용하고 있으므로 아래에서는 무시됨)----

기준:

Centos 7이 포함된 HP Microserver gen 8이 있고 Bay Area에 2TB의 하드 드라이브가 하나만 있습니다.지방 32.

...

rsync: '/folder/'에 쓰기 실패movie.mkv": 입출력 오류 (5) rsync 오류: 파일 IO 오류(코드 11)은 Receiver.c(322)에 있습니다.>>[수신자=3.0.9]

그리고 나중에 당신의 의견.

@마스터G4GB보다 작은 파일에는 오류가 없습니다.. 이 숫자를 약 8-10GB로 늘릴 수도 있지만 확실하지는 않습니다. – 약 8시간 전

내 생각엔 당신이 겪고 있는 문제가 당신이 해결하려고 하는 문제인 것 같아요동기화4GB 이상의 파일(적어도 일부)을 FAT32 파일 시스템에 복사하는 것은 FAT32 파일 크기의 엄격한 제한이기 때문에 불가능합니다.

최대 파일 크기 2^32 - 1바이트

(https://technet.microsoft.com/en-us/library/cc938937.aspx)

그래서동기화파일 IO 오류 보고:

11     Error in file I/O

(https://linux.die.net/man/1/rsync)

다음과 같은 옵션이 있습니다.

답변4

오류: Receiver.c(322)의 파일 IO(코드 11)에 오류 1이 있습니다. /folder에 쓸 수 있습니까?

rsync: 연결이 예기치 않게 종료되었습니다(지금까지 수신된 490바이트) [발신자] 2. SSH 연결이 끊어졌습니다. SSH로 접속할 수 있나요? 키나 비밀번호가 없나요?

"네트워크를 통해 로컬에서 파일(한 번에 약 100GB)을 복사하려고 합니다."라고 말합니다. 올바르게 읽었기를 바랍니다. 목적지 IP가 라우팅 불가능한 IP(192.168.0.106)인가요? VPN을 사용하고 있을 수도 있습니다.

rsync -avr * user@<remoteIP>:/folder

연결이 중단되면 --bwlimit를 사용하여 "속도를 늦춥니다". --partial을 사용하여 중단된 시도를 재개합니다.

관련 정보