☰

RHEL 7에서 IPoIB(IP over infiband), scp 속도 구성

tag-icon • tag-icon linux infiniband
RHEL 7에서 IPoIB(IP over infiband), scp 속도 구성

RHEL 7.9의 인피니밴드에 대한 집중 강좌를 진행 중입니다. 내 서버에는 모두 HDR ConnectX-6 카드가 설치되어 있습니다. 이것은 각 서버가 Q8700 mlnx에 연결된 간단한 LAN의 내 연구실에 있습니다.변화우선, infiniband의 기본 네트워킹 기능만 필요하므로 서버 간에 기본 nfs 마운트를 생성 할 수 있습니다 ssh.scp

  • c1이름이 5개인 서버가 있습니다 .c5
  • 각각은 RHEL 7.9 x86-64를 실행합니다.
  • mlnxofedinstall처음부터 끝까지 해냈 MLNX_OFED_LINUX-5.2-1.0.4.0-rhel7.9-x86_64.iso어요
  • systemctl enable openibd각각을 수행한 다음 재부팅했습니다 .
  • 그 후에는 수동으로 수행했지만 /etc/init.d/opensmd start이후에만c1
  • RHEL 7에서 NetworkManager GUI를 사용하여 ib0인터페이스를 다음과 같이 구성했습니다.
    • c1..c5는 각각 192.168.2.1 ~ 192.168.2.5입니다.
    • 지정되지 않은 각 게이트웨이의 서브넷 마스크는 255.255.255.0입니다.
    • 이렇게 하면 ip ib0보고된 링크 속도는 100000입니다.
  • 이게 전부인가요? 아니면 다른 내용이 많이 누락된 걸까요?
  • 내 1gbps 구리 네트워크 에서는 scp항상 112MB/초가 표시됩니다. 내 계산은 1000mbps / 8 = 125MBps이며 이는 89.6%의 효율성을 제공하며 이는 112MBps입니다. HDR 인피니밴드 데이터그램 IPoIB가 100000mb/s, 즉 100배 더 빠르다고 가정하면 11200MB/s가 표시되어야 합니까?
    • 위에서 언급한 작업만 수행했는데 현재 속도는 262MB/초(30GB tar 파일을 scp로 지정)입니다. 만약 있다면 얼마나 더 좋아져야 할까요?

답변1

ib_ipoib 모듈이 로드되었는지 확인하세요.

 lsmod | grep ipoib
ib_ipoib              124872  0
ib_cm                  53085  2 rdma_cm,ib_ipoib
ib_core               357959  8 rdma_cm,ib_cm,iw_cm,mlx5_ib,ib_umad,ib_uverbs,rdma_ucm,ib_ipoib
mlx_compat             55063  13 qedr,rdma_cm,ib_cm,iw_cm,auxiliary,mlx4_ib,mlx5_ib,ib_core,ib_umad,ib_uverbs,mlx5_core,rdma_ucm,ib_ipoib

그렇지 않은 경우 다음을 통해 로드할 수 있습니다.

modprobe ib_ipoib

답변2

아니요, 병목 현상이 CPU에 있기 때문에 이 테스트에서는 사용 가능한 대역폭을 사용하지 않습니다.

SSH와 scp는 여러 vCPU를 사용할 수 없습니다.

답변3

scp는 훌륭하지만 CPU를 너무 많이 사용합니다! 간단한 FTP를 설정하고 동일한 테스트를 실행해 보십시오. 속도가 크게 향상되는 것을 볼 수 있습니다. 클라이언트나 호스트 시스템에 다른 I/O 병목 현상이 없는 한.

일반적으로 오픈 소스 타사 드라이버보다는 비공개 소스인 경우에도 공급업체의 공식 드라이버를 사용하는 것이 좋습니다. 이는 시스템 성능에 큰 영향을 미칠 수 있습니다.

그러나 PCI 버스의 속도는 여전히 제한되어 있습니다. PCI-X에는 몇 가지 다른 기능과 제한 사항이 있습니다. 설명서를 읽고 시스템과 네트워크 어댑터가 올바르게 구성되었는지 확인하세요!

모든 일을 올바르게 수행하고 시스템 구성을 현명하게 계획하면 Infiniband가 번개처럼 하늘로 솟아오를 것입니다!

관련 정보