AWS에 컴퓨팅 클러스터를 설정하고 있습니다. 저는 cfncluster이것을 사용하여 모든 컴퓨팅 노드가 액세스할 수 있는 마스터 노드에 NFS 공유를 생성합니다. 분명히 이것은 병목 현상이 될 수 있습니다. 이전 작업에서 cfncluster를 사용한 것을 본 적이 있습니다. 이전에는 SLURM입력 파일을 로컬 노드에 복사하고 작업 참조를 NFS 경로로 업데이트하여 로컬 복사본으로 이동하는 프롤로그를 사용하여 이 문제를 해결했습니다 . 마찬가지로 작업의 출력 경로를 로컬 경로로 리디렉션하고 작업 스크립트에 줄을 추가하여 작업이 완료된 후 출력 파일을 NFS 경로에 다시 복사했습니다.
오늘 NFS의 FS-Cache에 대해 배웠습니다. 이것은 입력 파일 복사를 대체하는 것처럼 보이지만 프로그램이 NFS 경로에서 파일의 일부를 요청할 때 전체 파일을 복사하도록 할 수 있는 경우에만 가능합니다. NFS에서 입력 파일을 복사하고 즉시 삭제하면 파일 캐시가 보존됩니까?
내가 원하는 또 다른 것은 출력 파일을 캐시하여 해당 노드에서 실행 중인 다음 작업에 필요한 경우 NFS에서 다시 복사할 필요가 없도록 하는 것입니다. FS-Cache는 NFS에 대한 쓰기를 캐시하지 않는 것 같아서 이를 달성할 수 있는지 확실하지 않습니다. 내가 틀렸다면 알려주세요!