RHEL에서 Infiniband ib0 설정

RHEL에서 Infiniband ib0 설정

Mellanox HDR 인피니밴드 카드가 설치된 일부 서버에서 RHEL 7.9를 실행합니다. DVD를 통해 각 장치에 RHEL 7.9를 설치했으며 다음을 선택했습니다.그래픽 사용자 인터페이스를 갖춘 서버와 함께무제한 대역폭 지원그리고 몇 가지 다른 항목(하단 5).

따라서 Application - System Tools - Settings - Network해당 GUI의 그림이 여기에 사용됩니다.

알겠어요연결됨하지만 이렇게 하면 ip a나타납니다 ib0 state DOWN. 이것은 간단한 LAN에 있으며 아래 그림에서는 ipv4 설정에 대한 게이트웨이 값을 설정하지 않았지만 그것이 중요하지 않다고 생각합니다 Proxy = None.IPv6 Settings = ignore

  • 내가 뭘 놓쳤거나 하지 않았나요?
  • 꼭 사용해야 하나요 MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso? 그렇다면 어떤 부분이 있나요?
  • 이전 RHEL 설치에서 MLNX iso의 mlnxofedinstall을 실행했는데 ib0 네트워크가 제대로 작동했지만 iso의 mlnxofedinstall이 기존 rdma 콘텐츠를 제거하고 NFS+RDMA 문제를 일으키는 것 같아서 약간 당황했습니다.
  • 업데이트: opensm을 실행 중인 서버 4개 중 1개에서 mlnxofedinstall --with-nfsrdma이제 모든 서버 인피니밴드에 녹색 링크 표시등이 켜집니다. 오픈스엠에서 만든건가요? 그러나 그 결과 내가 rdma.service실행하고 있던 서버가 어떻게든 손실되었고 mlnxofedinstall onnfs+rdma가 작동하도록 만들고 싶었던 변경 사항이 취소되었습니다.

여기에 이미지 설명을 입력하세요. 여기에 이미지 설명을 입력하세요. 여기에 이미지 설명을 입력하세요. 여기에 이미지 설명을 입력하세요.

Usage: ./mlnxofedinstall [OPTIONS]

Installation control:
    --force              Force installation
    --tmpdir             Change tmp directory. Default: /tmp
    -k|--kernel <version>
                         Default on this system: 3.10.0-1160.49.1.el7.x86_64
    -s|--kernel-sources <path>
                         Default on this system: /lib/modules/3.10.0-1160.49.1.el7.x86_64/build
    -U|--update          Update installed version
    --with-32bit         Install 32-bit libraries. Relevant for x86_64 platforms
    --without-32bit      Skip 32-bit libraries installation (Default). Relevant for x86_64 platforms
    --distro             Set Distro name for the running OS (e.g: rhel6.5, sles11sp3). Default: Use auto-detection
    --skip-distro-check  Do not check MLNX_OFED_LINUX vs Distro matching
    --without-depcheck   Run the installation without verifying that all required Distro's packages are installed
    --check-deps-only    Check for missing required Distro's packages and exit
    --print-distro       Print distribution name and exit

    --add-kernel-support
                         Add kernel support (Run mlnx_add_kernel_support.sh) and install it
    --add-kernel-support-build-only
                         Add kernel support (Run mlnx_add_kernel_support.sh) and exit

    --kernel-extra-args '<args>'
                         pass <args> to kernel configure script (single paraeter, space separated)
                         - Pass it along with --add-kernel-support

    --kmp                Install kernel RPMs with KMP support if available
                         - Enabled by default with official MLNX_OFED_LINUX releases
                         - Disabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
                         - Passing it along with --add-kernel-support will pass --kmp to mlnx_add_kernel_support.sh
    --disable-kmp        Install kernel RPMs without KMP support if available
                         - Enabled by default if new MLNX_OFED_LINUX was created with mlnx_add_kernel_support.sh
    --skip-kmp-verify    Do not check if the KMP rpms are compatiable with the target kernel
    --speed-up-kmp       Speed up KMP RPMs installation by skipping %post section and running the required operations once for all KMPs

    --umad-dev-rw        Grant non root users read/write permission for umad devices instead of default
    --umad-dev-na        Prevent from non root users read/write access for umad devices. Overrides '--umad-dev-rw'
    --enable-mlnx_tune   Enable Running the mlnx_tune utility
    --enable-affinity    Run mlnx_affinity script upon boot
    --disable-affinity   Disable mlnx_affinity script (Default)
    --skip-unsupported-devices-check
                         Don't abort if system has an older, unsupported card
    --enable-opensm      Run opensm upon boot

    --package-install-options
                         RPM install options to use when installing RPM packages (comma separated list)
    --pre-install-<package> <path to script>
                         Run given script before given package's install
    --post-install-<package> <path to script>
                         Run given script after given package's install

Firmware update control:
    --without-fw-update  Skip firmware update
    --fw-update-only     Update firmware. Skip driver installation
    --force-fw-update    Force firmware update
    --fw-image-dir       Firmware images directory to use instead of default package content

Package selection:
    -c|--config <packages config_file>
                         Example of the config file can be found under docs
    --all                Install all available packages
    --bluefield          Install BlueField packages
    --hpc                Install minimum packages required for HPC
    --basic              Install minimum packages for basic functionality
    --dpdk               Install minimum packages required for DPDK
    --ovs-dpdk           Install DPDK and OVS packages
    --vma                Install minimum packages required for VMA
    --xlio                Install minimum packages required for XLIO
    --guest              Install minimum packages required by guest OS
    --hypervisor         Install minimum packages required by hypervisor OS
    --with-fabric-collector
                         Enable installing fabric-collector package
    --with-nvmf          Enable NVMEoF support
    --with-nfsrdma       Enable NFSoRDMA support
    --without-nfsrdma    Disable NFSoRDMA support (Default)

Extra package filtering:
    --kernel-only        Install kernel space packages only
    --user-space-only    Filter selected packages and install only User Space packages
    --without-<package>  Do not install package
    --with-<package>     Force installing package

Miscellaneous:
    -h|--help            Display this help message and exit
    --post-start-delay <sec>
                         Set openibd POST_START_DELAY parameter in seconds. (Default 0)
    -p|--print-available Print available packages for current platform
                     And create corresponding ofed.conf file

답변1

내 문제에 대한 해결책은 Infiniband SupportDVD에서 RHEL 7을 다시 설치한 후 설치 시 선택하는 것이었습니다. 나는 선택의 여지가 없었고 나중에 필요한 것은 무엇이든 설치할 수 있다고 생각했습니다.

Redhat의 Infiniband 지원 패키지 또는 MLNX_OFED_LINUX-5.5-1.0.3.2-rhel7.9-x86_64.iso 설치라는 두 가지 경로 중에서 선택할 수 있는 것 같습니다.

인피니밴드 카드로 펌웨어를 업데이트하는 것 외에는 MLNX iso에서 아무것도 설치하지 않고 Redhat 경로를 성공적으로 완료했습니다.

opensm은 infiniband 네트워크에 있는 하나 이상의 서버에서 실행되어야 합니다. 그러면 infiniband 카드에 녹색 연결 표시등이 켜지고 모든 것이 정상적으로 작동합니다.

MLNX iso로 인해 일부 호환되지 않는 Redhat rpm이 제거되어 nfs+rdma 작동 및 nfs 작동에 문제가 발생합니다. 다른 서버에서 infiniband 연결이 작동하도록 Redhat "infiniband 지원" 설치를 수행하는 경우입니다.

결국 저는 Redhat infiniband 지원 경로를 선택하고 펌웨어 업데이트에만 MLNX를 사용한다는 결론에 도달했습니다. 자신이 무엇을 하고 있는지 알고 실제로 원하는 것이 아니라면 MLNX iso가 Linux에 모든 것을 설치하도록 하지 마십시오. 모든.

관련 정보