Mellanox HDR 인피니밴드 카드가 설치된 일부 서버에서 RHEL 7.9를 실행합니다. DVD를 통해 각 장치에 RHEL 7.9를 설치했으며 다음을 선택했습니다.그래픽 사용자 인터페이스를 갖춘 서버와 함께무제한 대역폭 지원그리고 몇 가지 다른 항목(하단 5).
따라서 Application - System Tools - Settings - Network
해당 GUI의 그림이 여기에 사용됩니다.
알겠어요연결됨하지만 이렇게 하면 ip a
나타납니다 ib0 state DOWN
. 이것은 간단한 LAN에 있으며 아래 그림에서는 ipv4 설정에 대한 게이트웨이 값을 설정하지 않았지만 그것이 중요하지 않다고 생각합니다 Proxy = None
.IPv6 Settings = ignore
- 내가 뭘 놓쳤거나 하지 않았나요?
- 꼭 사용해야 하나요
MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso
? 그렇다면 어떤 부분이 있나요? - 이전 RHEL 설치에서 MLNX iso의 mlnxofedinstall을 실행했는데 ib0 네트워크가 제대로 작동했지만 iso의 mlnxofedinstall이 기존 rdma 콘텐츠를 제거하고 NFS+RDMA 문제를 일으키는 것 같아서 약간 당황했습니다.
- 업데이트: opensm을 실행 중인 서버 4개 중 1개에서
mlnxofedinstall --with-nfsrdma
이제 모든 서버 인피니밴드에 녹색 링크 표시등이 켜집니다. 오픈스엠에서 만든건가요? 그러나 그 결과 내가rdma.service
실행하고 있던 서버가 어떻게든 손실되었고mlnxofedinstall on
nfs+rdma가 작동하도록 만들고 싶었던 변경 사항이 취소되었습니다.
Usage: ./mlnxofedinstall [OPTIONS]
Installation control:
--force Force installation
--tmpdir Change tmp directory. Default: /tmp
-k|--kernel <version>
Default on this system: 3.10.0-1160.49.1.el7.x86_64
-s|--kernel-sources <path>
Default on this system: /lib/modules/3.10.0-1160.49.1.el7.x86_64/build
-U|--update Update installed version
--with-32bit Install 32-bit libraries. Relevant for x86_64 platforms
--without-32bit Skip 32-bit libraries installation (Default). Relevant for x86_64 platforms
--distro Set Distro name for the running OS (e.g: rhel6.5, sles11sp3). Default: Use auto-detection
--skip-distro-check Do not check MLNX_OFED_LINUX vs Distro matching
--without-depcheck Run the installation without verifying that all required Distro's packages are installed
--check-deps-only Check for missing required Distro's packages and exit
--print-distro Print distribution name and exit
--add-kernel-support
Add kernel support (Run mlnx_add_kernel_support.sh) and install it
--add-kernel-support-build-only
Add kernel support (Run mlnx_add_kernel_support.sh) and exit
--kernel-extra-args '<args>'
pass <args> to kernel configure script (single paraeter, space separated)
- Pass it along with --add-kernel-support
--kmp Install kernel RPMs with KMP support if available
- Enabled by default with official MLNX_OFED_LINUX releases
- Disabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
- Passing it along with --add-kernel-support will pass --kmp to mlnx_add_kernel_support.sh
--disable-kmp Install kernel RPMs without KMP support if available
- Enabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
--skip-kmp-verify Do not check if the KMP rpms are compatiable with the target kernel
--speed-up-kmp Speed up KMP RPMs installation by skipping %post section and running the required operations once for all KMPs
--umad-dev-rw Grant non root users read/write permission for umad devices instead of default
--umad-dev-na Prevent from non root users read/write access for umad devices. Overrides '--umad-dev-rw'
--enable-mlnx_tune Enable Running the mlnx_tune utility
--enable-affinity Run mlnx_affinity script upon boot
--disable-affinity Disable mlnx_affinity script (Default)
--skip-unsupported-devices-check
Don't abort if system has an older, unsupported card
--enable-opensm Run opensm upon boot
--package-install-options
RPM install options to use when installing RPM packages (comma separated list)
--pre-install-<package> <path to script>
Run given script before given package's install
--post-install-<package> <path to script>
Run given script after given package's install
Firmware update control:
--without-fw-update Skip firmware update
--fw-update-only Update firmware. Skip driver installation
--force-fw-update Force firmware update
--fw-image-dir Firmware images directory to use instead of default package content
Package selection:
-c|--config <packages config_file>
Example of the config file can be found under docs
--all Install all available packages
--bluefield Install BlueField packages
--hpc Install minimum packages required for HPC
--basic Install minimum packages for basic functionality
--dpdk Install minimum packages required for DPDK
--ovs-dpdk Install DPDK and OVS packages
--vma Install minimum packages required for VMA
--xlio Install minimum packages required for XLIO
--guest Install minimum packages required by guest OS
--hypervisor Install minimum packages required by hypervisor OS
--with-fabric-collector
Enable installing fabric-collector package
--with-nvmf Enable NVMEoF support
--with-nfsrdma Enable NFSoRDMA support
--without-nfsrdma Disable NFSoRDMA support (Default)
Extra package filtering:
--kernel-only Install kernel space packages only
--user-space-only Filter selected packages and install only User Space packages
--without-<package> Do not install package
--with-<package> Force installing package
Miscellaneous:
-h|--help Display this help message and exit
--post-start-delay <sec>
Set openibd POST_START_DELAY parameter in seconds. (Default 0)
-p|--print-available Print available packages for current platform
And create corresponding ofed.conf file
답변1
내 문제에 대한 해결책은 Infiniband Support
DVD에서 RHEL 7을 다시 설치한 후 설치 시 선택하는 것이었습니다. 나는 선택의 여지가 없었고 나중에 필요한 것은 무엇이든 설치할 수 있다고 생각했습니다.
Redhat의 Infiniband 지원 패키지 또는 MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso 설치라는 두 가지 경로 중에서 선택할 수 있는 것 같습니다.
인피니밴드 카드로 펌웨어를 업데이트하는 것 외에는 MLNX iso에서 아무것도 설치하지 않고 Redhat 경로를 성공적으로 완료했습니다.
opensm은 infiniband 네트워크에 있는 하나 이상의 서버에서 실행되어야 합니다. 그러면 infiniband 카드에 녹색 연결 표시등이 켜지고 모든 것이 정상적으로 작동합니다.
MLNX iso로 인해 일부 호환되지 않는 Redhat rpm이 제거되어 nfs+rdma 작동 및 nfs 작동에 문제가 발생합니다. 다른 서버에서 infiniband 연결이 작동하도록 Redhat "infiniband 지원" 설치를 수행하는 경우입니다.
결국 저는 Redhat infiniband 지원 경로를 선택하고 펌웨어 업데이트에만 MLNX를 사용한다는 결론에 도달했습니다. 자신이 무엇을 하고 있는지 알고 실제로 원하는 것이 아니라면 MLNX iso가 Linux에 모든 것을 설치하도록 하지 마십시오. 모든.