이것은 다소 컴퓨터 엔지니어링 및 네트워크 엔지니어링 질문이지만 Linux 기반입니다.없이주로 Linux 운영 체제를 통해 사용됩니다. 내 하드웨어에서 Linux 운영 체제를 사용할 때 발생하는 속도 제한을 이해하고 싶습니다.
무제한 광대역(mellanox) QDR, FRD, EDR, HDR 등 다양한 데이터 속도가 출시되었습니다.
HDR은 현재 100Gbps 또는 200Gbps에서 작동합니다(2021년 기준 Mellanox 광고 참조).
다음을 통해 iperf사용rhel 7.9IPoIBiperf에서 보고한 최대 전송 속도는 24.0Gbps입니다(TCP를 통한 것으로 생각됩니다). 100Gbps 네트워크에서는 속도가 24%인 반면, 1Gbps 네트워크에서는 보고된 속도가 942Mbps로 94%였습니다.
내 질문은: infinband가 HDR에서 미래의 NDR 및 XDR로 발전함에 따라 GBPS가 무엇이든 누구든지 병목 지점이 어디인지 보고하거나 계산할 수 있습니까? 예를 들어, SSH scp테스트를 수행했는데 SSH 암호 선택으로 인해 전송 속도가 1.600hbps에서 최대 5.6gbps(200MB/s 또는 700MB/s)로 나타났습니다. 이는 CPU 처리 및 선택한 암호화 체계를 수행하는 처리 능력.
100Gbps inifiband 네트워크 속도와 관련된 CPU/DDR4 RAM/칩셋/PCIe 레인 제한 수치는 무엇입니까?
현재 Intel 또는 AMD [LGA1200 또는 LGA3647 및 PCIe 3.0을 사용하는 칩셋? ] Mellanox 인피니밴드 카드에 비트를 연결하는 속도는 얼마나 되나요?
Linux [RHEL 7.9]에서 이런 종류의 것을 테스트하려면 어떻게 해야 합니까? iperf는최고방법?
답변1
InfiniBand(적어도 Mellanox 하드웨어)는 CPU 오프로딩을 사용하여 과도한 CPU 로드 없이 매우 높은 처리량을 달성합니다. InfiniBand Verb Performance Test를 사용하여 원시 속도를 잘 테스트할 수 있습니다.완벽한 테스트패키지(예: ib_write_bw. 측정된 데이터 속도는 일반적으로 지정된 연결 속도의 95%를 초과합니다.
iperf 도구는 기본적으로 단일 TCP 연결을 사용하는데, 이것이 여기서 주요 병목 현상입니다. TCP 연결은 CPU 집약적이며 단일 TCP 연결은 빠른 InfiniBand 연결을 포화시킬 수 없습니다. 여러 TCP 연결을 병렬로 사용( -P옵션 iperf)하면 멀티 코어 컴퓨터에서 InfiniBand 네트워크 데이터 속도에 더 근접하게 접근할 수 있습니다. 그러나 일반적으로 TCP 연결은 오버헤드가 높기 때문에 빠른 네트워크에는 적합하지 않습니다.