모호한 질문이 있습니다.. 구글링이 어렵기 때문에 stackexchange를 사용하는 것이 더 유용할 수 있습니다.
현재 상황은
- 로컬 컴퓨터: Ubuntu 16.04, 저장 공간이 많지 않음(~100Gb)
- 원격 서버: Ubuntu 18.04, 많은 스토리지(~2Tb) 및 많은 사용자.
- 통신: ftp/ssh를 통해
- 현재 애플리케이션: 며칠 동안 원격 서버에서 모델을 실행합니다.
원격 서버에 많은 데이터 세트(총 1.5Tb)가 있지만 항상 모두 사용하지는 않습니다. 집에 대용량 8TB 하드 드라이브가 있습니다. 꼭 필요한 파일만 서버로 전송할 수는 있지만, 데이터 세트를 변경하기 위해 하고 싶은 작업을 모두 수행하려면 시간이 꽤 걸릴 것 같습니다. 내 로컬 하드 드라이브를 원격 서버의 "임시" 저장소로 사용하는 영리한 방법이 있습니까? 다시 말하지만, 데이터 오버헤드가 너무 많지 않습니까?
내 유일한 해결책은 로컬 하드 드라이브를 로컬 컴퓨터에 연결하여 원격 서버의 "공유 폴더"로 만드는 것이었습니다. 이렇게 하면 원격 서버가 데이터에 액세스할 수 있어야 하지만 이는 모델을 실행하는 동안 컴퓨터를 계속 켜 놓아야 함을 의미하는 것 같습니다. 그리고 나는 여전히 데이터 전송 시간으로 인해 어려움을 겪고 있습니다.