절차

1. iproute,libibverbs -utils, infiniband-diags 패키지를 설치합니다.

   # dnf install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA 링크를 표시합니다.

   # rdma link show

3. siw 커널 모듈을 로드합니다.

   # modprobe siw

4. enp0s1 인터페이스를 사용하는 siw 0 이라는 새 siw 장치를 추가합니다.

   # rdma link add siw0 type siw netdev enp0s1

검증

1. 모든 RDMA 링크의 상태를 표시합니다.

   # rdma link show
   
   link siw0/1 state ACTIVE physical_state LINK_UP netdev enp0s1

2. 사용 가능한 RDMA 장치를 나열합니다.

   # ibv_devices
   
    device                 node GUID
    ------              ----------------
    siw0                0250b6fffea19d61

3. ibv_devinfo 유틸리티를 사용하여 자세한 상태를 표시할 수 있습니다.

   # ibv_devinfo siw0
   
       hca_id:               siw0
       transport:            iWARP (1)
       fw_ver:               0.0.0
       node_guid:            0250:b6ff:fea1:9d61
       sys_image_guid:       0250:b6ff:fea1:9d61
       vendor_id:            0x626d74
       vendor_part_id:       1
       hw_ver:               0x0
       phys_port_cnt:          1
           port:               1
               state:          PORT_ACTIVE (4)
               max_mtu:        1024 (3)
               active_mtu:     1024 (3)
               sm_lid:         0
               port_lid:       0
               port_lmc:       0x00
               link_layer:     Ethernet

절차

1. /sys/kernel/config/rdma_cm/mlx5_0/ 디렉터리를 만듭니다.

   # mkdir /sys/kernel/config/rdma_cm/mlx5_0/

2. 기본 RoCE 모드를 표시합니다.

   # cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
   
   RoCE v2

3. 기본 RoCE 모드를 버전 1로 변경합니다.

   # echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

절차

1. 장치 ib0 의 하드웨어 주소를 표시합니다.

   # ip addr show ib0
   
   7: ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc fq_codel state UP group default qlen 256
       link/infiniband 80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
       altname ibp7s0
       altname ibs2
       inet 172.31.0.181/24 brd 172.31.0.255 scope global dynamic noprefixroute ib0
          valid_lft 2899sec preferred_lft 2899sec
       inet6 fe80::f652:1403:7b:e1b1/64 scope link noprefixroute
          valid_lft forever preferred_lft forever

2. MAC 주소 80:00:0a:28:28:80:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:00:7b:00:7b:e1 to mlx4_ib0 으로 이름을 지정하는 경우 /etc/systemd/network/70-custom-ifnames.link 파일을 다음과 같이 만듭니다.

   [Match]
   MACAddress=80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1
   
   [Link]
   Name=mlx4_ib0

   이 링크 파일은 MAC 주소와 일치하며 네트워크 인터페이스의 이름을 Name 매개변수에 설정된 이름으로 변경합니다.

검증

1. 호스트를 재부팅합니다.

   # reboot

2. 링크 파일에 지정한 MAC 주소가 있는 장치가 mlx4_ib0 에 할당되었는지 확인합니다.

   # ip addr show mlx4_ib0
   
   7: mlx4_ib0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 65520 qdisc fq_codel state UP group default qlen 256
       link/infiniband 80:00:0a:28:fe:80:00:00:00:00:00:00:f4:52:14:03:00:7b:e1:b1 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff
       altname ibp7s0
       altname ibs2
       inet 172.31.0.181/24 brd 172.31.0.255 scope global dynamic noprefixroute mlx4_ib0
          valid_lft 2899sec preferred_lft 2899sec
       inet6 fe80::f652:1403:7b:e1b1/64 scope link noprefixroute
          valid_lft forever preferred_lft forever

검증

1. /etc/security/limits.conf 파일을 편집한 후 rdma 그룹의 멤버로 로그인합니다.

   Red Hat Enterprise Linux는 사용자가 로그인할 때 업데이트된 ulimit 설정을 적용합니다.

2. ulimit -l 명령을 사용하여 제한을 표시합니다.

   $ ulimit -l
   unlimited

   명령이 무제한 을 반환하는 경우 사용자는 무제한 메모리를 고정할 수 있습니다.

절차

1. rdma-core 패키지를 설치합니다.

   # dnf install rdma-core

2. 패키지가 이미 설치된 경우 /etc/rdma/modules/rdma.conf 파일의 xprtrdma 및 svcrdma 모듈이 주석 해제되었는지 확인합니다.

   # NFS over RDMA client support
   xprtrdma
   # NFS over RDMA server support
   svcrdma

3. 선택 사항: 기본적으로 RDMA를 통한 NFS에서는 포트 20049를 사용합니다. 다른 포트를 사용하려면 /etc/nfs.conf 파일의 [nfsd] 섹션에서 rdma-port 설정을 설정합니다.

   rdma-port=<port>

4. firewalld 에서 NFSoRDMA 포트를 엽니다.

   # firewall-cmd --permanent --add-port={20049/tcp,20049/udp}
   # firewall-cmd --reload

   20049 이외의 다른 포트를 설정하면 포트 번호를 조정합니다.

5. nfs-server 서비스를 다시 시작합니다.

   # systemctl restart nfs-server

검증

1. InfiniBand 하드웨어가 있는 클라이언트에서 다음 단계를 수행합니다.

   1. 다음 패키지를 설치합니다.

      # dnf install nfs-utils rdma-core

   2. RDMA를 통해 내보낸 NFS 공유를 마운트합니다.

      # mount -o rdma server.example.com:/nfs/projects/ /mnt/

      기본값(20049) 이외의 포트 번호를 설정하면 port = <port_number> 를 명령에 전달합니다.

      # mount -o rdma,port=<port_number> server.example.com:/nfs/projects/ /mnt/

   3. rdma 옵션을 사용하여 공유가 마운트되었는지 확인합니다.

      # mount | grep "/mnt"
      server.example.com:/nfs/projects/ on /mnt type nfs (...,proto=rdma,...)

절차

1. 연결된 전송 모드에서 mlx4_ib0 인터페이스와 65520 바이트의 최대 MTU를 사용하려면 InfiniBand 연결을 만듭니다.

   # nmcli connection add type infiniband con-name mlx4_ib0 ifname mlx4_ib0 transport-mode Connected mtu 65520

2. mlx4_ib0 연결의 P_Key 인터페이스로 0x8002 를 설정할 수도 있습니다.

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

3. IPv4 설정을 구성하려면 mlx4_ib0 연결의 정적 IPv4 주소, 네트워크 마스크, 기본 게이트웨이 및 DNS 서버를 설정합니다.

   # nmcli connection modify mlx4_ib0 ipv4.addresses 192.0.2.1/24
   # nmcli connection modify mlx4_ib0 ipv4.gateway 192.0.2.254
   # nmcli connection modify mlx4_ib0 ipv4.dns 192.0.2.253
   # nmcli connection modify mlx4_ib0 ipv4.method manual

4. IPv6 설정을 구성하려면 mlx4_ib0 연결의 정적 IPv6 주소, 네트워크 마스크, 기본 게이트웨이 및 DNS 서버를 설정합니다.

   # nmcli connection modify mlx4_ib0 ipv6.addresses 2001:db8:1::1/32
   # nmcli connection modify mlx4_ib0 ipv6.gateway 2001:db8:1::fffe
   # nmcli connection modify mlx4_ib0 ipv6.dns 2001:db8:1::fffd
   # nmcli connection modify mlx4_ib0 ipv6.method manual

5. mlx4_ib0 연결을 활성화하려면 다음을 수행합니다.

   # nmcli connection up mlx4_ib0

절차

1. 다음 콘텐츠를 사용하여 플레이북 파일(예: ~/playbook.yml )을 생성합니다.

   ---
   - name: Configure the network
     hosts: managed-node-01.example.com
     tasks:
       - name: Configure IPoIB
         ansible.builtin.include_role:
           name: rhel-system-roles.network
         vars:
           network_connections:
             # InfiniBand connection mlx4_ib0
             - name: mlx4_ib0
               interface_name: mlx4_ib0
               type: infiniband
   
             # IPoIB device mlx4_ib0.8002 on top of mlx4_ib0
             - name: mlx4_ib0.8002
               type: infiniband
               autoconnect: yes
               infiniband:
                 p_key: 0x8002
                 transport_mode: datagram
               parent: mlx4_ib0
               ip:
                 address:
                   - 192.0.2.1/24
                   - 2001:db8:1::1/64
               state: up

   이 예에서 p_key 매개변수를 설정하는 경우 IPoIB 장치에 interface_name 매개변수를 설정하지 마십시오.

2. 플레이북 구문을 확인합니다.

   $ ansible-playbook --syntax-check ~/playbook.yml

   이 명령은 구문만 검증하고 잘못되었지만 유효한 구성으로부터 보호하지 않습니다.

3. 플레이북을 실행합니다.

   $ ansible-playbook ~/playbook.yml

검증

1. managed-node-01.example.com 호스트에서 mlx4_ib0.8002 장치의 IP 설정을 표시합니다.

   # ip address show mlx4_ib0.8002
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 장치의 파티션 키(P_Key)를 표시합니다.

   # cat /sys/class/net/mlx4_ib0.8002/pkey
   0x8002

3. mlx4_ib0.8002 장치의 모드를 표시합니다.

   # cat /sys/class/net/mlx4_ib0.8002/mode
   datagram

절차

1. 명령을 입력합니다.

   $ nm-connection-editor

2. + 버튼을 클릭하여 새 연결을 추가합니다.
3. InfiniBand 연결 유형을 선택하고 생성을 클릭합니다.

4. InfiniBand 탭에서 다음을 수행합니다.

   1. 원하는 경우 연결 이름을 변경합니다.
   2. 전송 모드를 선택합니다.
   3. 장치를 선택합니다.
   4. 필요한 경우 MTU를 설정합니다.
5. IPv4 Settings 탭에서 IPv4 설정을 구성합니다. 예를 들어 정적 IPv4 주소, 네트워크 마스크, 기본 게이트웨이 및 DNS 서버를 설정합니다.
6. IPv6 Settings 탭에서 IPv6 설정을 구성합니다. 예를 들어 정적 IPv6 주소, 네트워크 마스크, 기본 게이트웨이 및 DNS 서버를 설정합니다.
7. 저장을 클릭하여 팀 연결을 저장합니다.
8. nm-connection-editor 를 닫습니다.

9. P_Key 인터페이스를 설정할 수 있습니다. nm-connection-editor 에서 이 설정을 사용할 수 없으므로 명령줄에서 이 매개변수를 설정해야 합니다.

   예를 들어, 0x8002 를 mlx4_ib0 연결의 P_Key 인터페이스로 설정하려면 다음을 수행합니다.

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

절차

1. 시스템에서 iperf3 을 서버로 실행하려면 주기적인 대역폭 업데이트를 제공하기 위한 시간 간격을 정의하여 서버로 수신 대기합니다. 클라이언트 연결의 응답을 기다리는 것입니다.

   # iperf3 -i 5 -s

2. 다른 시스템에서 iperf3 를 클라이언트로 실행하려면 주기적인 대역폭 업데이트를 제공하는 시간 간격을 정의하여 수신 대기 서버 -c 의 IP 주소 192.168.2.2 에 초 단위로 연결합니다.

   # iperf3 -i 5 -t 60 -c 192.168.2.2

3. 다음 명령을 사용합니다.

   1. 서버 역할을 하는 시스템에 테스트 결과를 표시합니다.

      # iperf3 -i 10 -s
      -----------------------------------------------------------
      Server listening on 5201
      -----------------------------------------------------------
      Accepted connection from 192.168.2.3, port 22216
      [5] local 192.168.2.2 port 5201 connected to 192.168.2.3 port 22218
      [ID] Interval           Transfer     Bandwidth
      [5]   0.00-10.00  sec  17.5 GBytes  15.0 Gbits/sec
      [5]  10.00-20.00  sec  17.6 GBytes  15.2 Gbits/sec
      [5]  20.00-30.00  sec  18.4 GBytes  15.8 Gbits/sec
      [5]  30.00-40.00  sec  18.0 GBytes  15.5 Gbits/sec
      [5]  40.00-50.00  sec  17.5 GBytes  15.1 Gbits/sec
      [5]  50.00-60.00  sec  18.1 GBytes  15.5 Gbits/sec
      [5]  60.00-60.04  sec  82.2 MBytes  17.3 Gbits/sec
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ID] Interval           Transfer     Bandwidth
      [5]   0.00-60.04  sec  0.00 Bytes    0.00 bits/sec  sender
      [5]   0.00-60.04  sec   107 GBytes  15.3 Gbits/sec  receiver

   2. 클라이언트 역할을 하는 시스템에 테스트 결과를 표시합니다.

      # iperf3 -i 1 -t 60 -c 192.168.2.2
      
      Connecting to host 192.168.2.2, port 5201
      [4] local 192.168.2.3 port 22218 connected to 192.168.2.2 port 5201
      [ID] Interval           Transfer     Bandwidth       Retr  Cwnd
      [4]   0.00-10.00  sec  17.6 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  10.00-20.00  sec  17.6 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  20.00-30.00  sec  18.4 GBytes  15.8 Gbits/sec    0   6.01 MBytes
      [4]  30.00-40.00  sec  18.0 GBytes  15.5 Gbits/sec    0   6.01 MBytes
      [4]  40.00-50.00  sec  17.5 GBytes  15.1 Gbits/sec    0   6.01 MBytes
      [4]  50.00-60.00  sec  18.1 GBytes  15.5 Gbits/sec    0   6.01 MBytes
      - - - - - - - - - - - - - - - - - - - - - - - - -
      [ID] Interval           Transfer     Bandwidth       Retr
      [4]   0.00-60.00  sec   107 GBytes  15.4 Gbits/sec    0   sender
      [4]   0.00-60.00  sec   107 GBytes  15.4 Gbits/sec        receiver