☰

심볼릭 링크를 사용하여 여러 폴더를 하나로 병합하는 방법이 있습니까?

tag-icon • tag-icon filesystems symlink
심볼릭 링크를 사용하여 여러 폴더를 하나로 병합하는 방법이 있습니까?

제가 일하는 곳에서는 분석을 위한 데이터가 많이 생성되므로 데이터를 저장하기 위해 지속적으로 새 NAS를 구입해야 합니다. 이로 인해 컴퓨팅 서버에 많은 NAS가 설치되어 있고 어떤 데이터 세트가 어떤 NAS에 있는지 추적해야 하는 상황이 발생합니다. 각 NAS는 비슷한 디렉터리 구조를 가지고 있습니다. 예를 들어 datasetANAS에 있으면 서버에 foo있고 , NAS에 있으면 서버 에 있습니다 . 로컬 파일 시스템에 폴더를 만들고 모든 데이터 세트를 이동할 생각입니다. 이 폴더에 NAS 심볼릭 링크를 마운트했습니다. 예:/mnt/foo/data/datasetAdatasetBbar/mnt/bar/data/datasetBdata

mkdir /data
ln -s /mnt/foo/data/* /data
ln -s /mnt/bar/data/* /data

이렇게 하면 /data데이터가 실제로 어느 NAS에 저장되어 있는지 신경쓰지 않고 데이터 세트에만 액세스하면 됩니다. 새 데이터 세트가 NAS에 나타날 때마다 이를 수동으로 심볼릭 링크해야 한다는 점을 제외하면 이것이 작동할 것이라고 생각합니다 /data. 새 디렉토리가 자동으로 나타나도록 이러한 심볼릭 링크를 설정하는 방법이 있습니까? 한 가지 옵션은 주기적으로 링크 명령을 다시 실행하도록 cron 작업을 설정하는 것이지만 더 나은 솔루션이 있을 수도 있습니다.

답변1

특히 읽기 전용인 경우 overlayfs 설정으로 인해 문제가 발생할 수 있습니다.

하지만,

데이터를 저장하려면 새 NAS를 계속 구입해야 합니다.

비용이 많이 들고 신뢰할 수 없는 솔루션처럼 들립니다. 이는 확실히 반대라고 말하고 싶은 것 같습니다. 게다가 관리 집약적이기 때문입니다. 즉, IT 관리 측면뿐만 아니라 NAS 구매에 따른 관리 오버헤드도 의미하기 때문입니다.

일반적인 해결책은 강력한 네트워크 인터페이스와 다수의 드라이브 베이를 갖춘 스토리지 서버를 구입하고, 사용함에 따라 새 드라이브를 추가하고, 시간이 지남에 따라 성능이 저하되기 시작하면 오래된 드라이브를 폐기하는 것입니다. raid 6을 설정하면 lvmraid를 사용하여 비교적 쉽게 이 작업을 수행할 수 있습니다. 모든 데이터를 하나의 논리적 저장 장치에 저장합니다.

테라바이트가 아닌 페타바이트에 대해 이야기하고 나면 더 클러스터 가능한 것으로 마이그레이션하는 것이 선택의 접근 방식이 될 것입니다. 경험이 전혀 없지만 스토리지가 랙을 채우기 시작할 때를 위한 스토리지 클러스터링 솔루션인 ceph에 대해 좋은 소식을 들었습니다.

관련 정보