저는 CPU 클러스터를 구축하는 프로젝트를 진행 중이며, 서버와 NFS 스토리지(병렬 파일 시스템 아님)는 HDR InfiniBand 케이블을 통해 연결됩니다. 이 아키텍처에서는 InfiniBand 네트워크를 통해 적절한 스토리지 I/O 성능을 얻을 수 있으며 NFS는 InfiniBand 통신을 지원합니까? 아니면 스토리지를 쓰고 읽으려면 200G 이더넷(IB 네트워크 아님) 패브릭을 구축해야 합니까? 그렇다면 구성해야 할 사항이 있습니까?
답변1
1gbps의 경우 1000/8 = 125MB/초의 최대 처리량이고 scp 112MB/초(약 10%의 오버헤드 적중)를 관찰했습니다. 1gbps에서 100gbps까지 HDR 인피니밴드의 100배, 즉 12500MB/s를 볼 수 있다고 예상하십니까? 복사 속도, 아니요. 제가 본 것 중 가장 빠른 속도는 12.5GB/s scp가 아니라 1.0GB/s입니다. 나는 그것을 방해하는 다른 제약이 있다고 믿는다.최고처리량은 이렇습니다. 그러나 동시에 여러 복사본을 실행할 수 있으며 기존 1gbps 스위치에서처럼 속도 저하가 발생하지 않습니다.
RHEL 7.9에서 내 경험에 따르면 NFS 및 RDMA는 RHEL 8.8(또는 그 이상?)만큼 세련되고 강력하지 않습니다. rsync -P내가 관찰한 가장 빠른 단일 파일 복사 속도는 NFS vers=4.2및 proto=rdma. 단일 파일 복사 테스트 사례에서는 2개의 노드만 있었던 것에 비해 많은 노드가 적극적으로 통신하고 있기 때문에 속도가 더 눈에 띄게 될 것이라고 생각합니다.asyncsync