☰

CentOS 7의 NFS/RDMA, 작은 파일 손상

tag-icon • tag-icon centos nfs infiniband
CentOS 7의 NFS/RDMA, 작은 파일 손상

HPC 환경에는 2개의 노드 시리즈가 있습니다. 하나는 7.1.1503(커널 3.10.0-229.el7.x86_64)을 실행하고 다른 하나는 7.7.1908(커널 3.10.0-1062.12.1.el7.x86_64)을 실행합니다. 둘 다 하나씩 설치되어 있습니다.NFS/RDMA서버에는 공급업체(Melanox)가 문서화한 다음 플래그가 있습니다.

10.0.0.1:/pool0/home on /mnt/rdma type nfs (rw,relatime,sync,vers=3,rsize=262144,wsize=262144,namlen=255,acregmin=0,acregmax=0,acdirmin=0,acdirmax=0,hard,nocto,noac,proto=rdma,port=20049,timeo=600,retrans=2,sec=sys,mountaddr=10.0.0.1,mountvers=3,mountproto=tcp,local_lock=none,addr=10.0.0.1)

7.1 노드에서는 다음을 수행할 수 있습니다.

7.1$ dd if=/dev/zero of=/mnt/rdma/test bs=1 count=701

7.7 노드에서 예상 파일을 받았습니다.

7.2$ hexdump /mnt/rdma/test
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
00002b0 0000 0000 0000 0000 0000 0000 0000     
00002bd

이제 동일한 테스트를 수행하면700바이트 이하, 파일이 손상되었습니다:

7.1$ dd if=/dev/zero of=/mnt/rdma/test bs=1 count=700

7.2$ hexdump /mnt/rdma/test | head -10
0000000 9dfe a757 0000 0100 0000 0000 0000 0000
0000010 0000 0000 0000 0000 0000 0000 0000 0100
0000020 0000 0100 0000 a401 0000 0100 0000 0000
0000030 0000 0000 0000 0000 0000 bc02 0000 0000
0000040 0000 0002 0000 0000 0000 0000 168c 0083
0000050 4a0f c612 0000 0000 b000 5a5b 1262 1e75
0000060 9d04 bc90 1262 1a75 c233 50e9 1262 1a75
0000070 c233 50e9 0000 bc02 0000 0100 0000 bc02
0000080 0000 0000 000a 5b5a 00b0 0000 0f9d 030c
0000090 0000 2d00 0000 0000 0000 0000 0000 0000

RDMA 대신 TCP를 통한 NFS를 사용하여 동일한 명령을 시도하면 파일이 손상되지 않습니다.

mount우리는 아주 많은 옵션, 조정 rsize등 을 시도했지만 wsize아이디어가 부족하고 새로운 아이디어를 갖게 되어 기쁠 것입니다...
예, 최신 커널로 업그레이드하는 것이 분명히 논의되고 있지만 아직 확실하지 않습니다. 이는 단기간에 가능합니다.
노트이전 노드는 7.7에서 작동하지 않으며 최신 노드는 7.1에서 작동하지 않습니다.

고쳐 쓰다

제안하신 대로 최신 CentOS 7 버전으로 업그레이드했는데 오류가 계속 발생합니다.

node1# dd if=/dev/zero of=/mnt/rdma/1160 bs=1 count=700

node2# uname -mr
3.10.0-1160.53.1.el7.x86_64 x86_64
node2# lsb_release -d
Description:    CentOS Linux release 7.9.2009 (Core)
node2# hexdump /mnt/rdma/1160|head -5
0000000 376b 1728 0000 0100 0000 0000 0000 0000
0000010 0000 0000 0000 0000 0000 0000 0000 0100
0000020 0000 0100 0000 a401 0000 0100 0000 0000
0000030 0000 0000 0000 0000 0000 bc02 0000 0000
0000040 0000 0002 0000 0000 0000 0000 168c 0083

업데이트 2

방금 동일한 노드, 최신 노드에서 CentOS 7.9로 업그레이드하여 테스트를 했는데, 실제로 동일한 노드에서 쓰고 읽을 때 실패했습니다.
또한 조정하면 /proc/sys/sunrpc/rdma_memreg_strategy매우 이상한 결과가 나타날 수 있습니다. 예를 들어 rdma_memreg_strategy == 6노이즈는 다음과 같습니다.

0000120 8898 123d 4506 c0f8 b0d6 3940 44b9 c0f8
0000130 bc92 ba64 4491 c0f8 165c 0ae4 448e c0f8
0000140 c82e 19e7 44a9 c0f8 2ddc 11f2 44dc c0f8
0000150 ad84 79aa 4520 c0f8 b4af 68ca 4571 c0f8
0000160 b752 b3ef 45cb c0f8 b04a 97b8 462d c0f8
0000170 7543 d694 4695 c0f8 d5dd 2cdc 4702 c0f8
0000180 a9bb f717 476e c0f8 4a78 13d9 47d7 c0f8
0000190 2a26 a9e4 4834 c0f8 71c8 3d91 4882 c0f8
00001a0 fcae 8d55 48bb c0f8 2b04 bcf8 48dd c0f8
00001b0 b04c a4be 48e8 c0f8 79d3 db6c 48dc c0f8
00001c0 9f84 c912 48bb c0f8 096c b285 4886 c0f8
00001d0 f0ff ee8e 483e c0f8 d171 e773 47e4 c0f8
00001e0 8e7b f3d1 4779 c0f8 4bbd d26f 46ff c0f8

업데이트 3

공식 Mellanox 드라이버를 설치했습니다. 이제 파일이 640바이트 미만일 때 손상이 발생합니다...

업데이트 4

음, 사실 생각보다 별로였어요. 이러한 파일은 단순히 "손상"된 것이 아니라 실제 메모리 누수입니다.

# cat 20220222-1
0000000: b449 1fc1 0000 0001 0000 0000 0000 0000  .I..............
0000010: 0000 0000 0000 0000 0000 0000 0000 0001  ................
0000020: 0000 0001 0000 01a4 0000 0001 0000 0000  ................
0000030: 0000 0000 0000 0000 0000 0258 0000 0000  ...........X....
0000040: 0000 0200 0000 0000 0000 0000 8c16 8300  ................
0000050: 0f4a 12c6 0000 0000 00b0 5fd3 6214 a09b  .J........_.b...
0000060: 0c5f 0ffa 6214 a088 0f67 27e3 6214 a088  ._..b....g'.b...
0000070: 0f67 27e3 0000 0258 0000 0001 0000 0258  .g'....X.......X
0000080: 0000 5c9a 0000 0000 0000 0000 0000 0020  ..\............ 
0000090: 0100 0601 c612 4a0f 0083 168c 0000 0000  ......J.........
00000a0: 0000 0000 0a00 fd56 b000 0000 6d9c 0903  .......V....m...
00000b0: 0000 0000 3d33 8000 0000 011a 0000 0002  ....=3..........
00000c0: 0000 011a 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ....------------
00000d0: 0a0a 0a0a 0a2d 2d2d 2d2d 2d2d 2d2d 2d2d  .....-----------
00000e0: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ----------------
00000f0: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2049  -------------- I
0000100: 7465 7261 7469 6f6e 2038 3438 3928 2020  teration 8489(  
0000110: 2035 2920 202d 2d2d 2d2d 2d2d 2d2d 2d2d   5)  -----------
0000120: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d  ----------------
0000130: 2d2d 2d2d 2d2d 2d2d 2d2d 2d2d 0a0a 0a20  ------------... 
0000140: 2020 2050 4f54 4c4f 4b3a 2020 6370 7520     POTLOK:  cpu 
0000150: 7469 6d65 2020 2020 302e 3033 3532 3a20  time    0.0352: 
0000160: 7265 616c 2074 696d 6520 2020 2030 2e30  real time    0.0
0000170: 3334 390a 2020 2020 5345 5444 494a 3a20  349.    SETDIJ: 
0000180: 2063 7075 2074 696d 6520 2020 2030 2e30   cpu time    0.0
0000190: 3332 383a 2072 6561 6c20 7469 6d65 2020  328: real time  
00001a0: 2020 302e 3033 3239 0a20 2020 2045 4444    0.0329.    EDD
00001b0: 4941 473a 2020 6370 7520 7469 6d65 2020  IAG:  cpu time  
00001c0: 2020 332e 3139 3638 3a20 7265 616c 2074    3.1968: real t
00001d0: 696d 6520 2020 2033 2e31 3938 310a 0000  ime    3.1981...
00001e0: 3131 3238 2020 2020 0a48 4352 2020 2020  1128    .HCR    
00001f0: 2020 2020 2020 2020 2038 320a 2020 2020           82.    
0000200: 2031 322e 3934 3834 3732 3233 2020 2020   12.94847223    
0000210: 2020 2020 2d34 2e31 3938 3830 3635 3138      -4.198806518
0000220: 2020 2020 2020 2020 302e 3933 3536 3336          0.935636
0000230: 3039 3935 2020 2020 0a20 2020 3133 2e33  0995    .   13.3
0000240: 3837 3634 3434 3334 3120 2020 2020 2020  876444341       
0000250: 322e 3732 3939 3339                      2.729939

답변1

그래서 일주일 동안 이 버그를 찾아낸 후 매우 간단한 패치를 출시했습니다. 데이터가 다음보다 작거나 같을 때 커널 모듈
에 버그가 있는 것 같습니다.rpcrdma특정 크기, 청크로 분할하여 처리하지 않습니다.대기줄. 이 처리에는 내가 찾을 수 없는 버그가 있지만 간단한 수정 방법은 모든 파일을 청크로 처리하고 항상 함수 0에서 반환하는 것입니다. rpcrdma_results_inline()이 드라이버의 작성자에게 연락하여 보안 버그를 열었습니다.RedHat용 Bugzilla.

답변2

CentOS-7.9를 실행하면 문제를 재현할 수 없습니다.

[tru@gpulab00 ~]$ uname -r
3.10.0-1160.45.1.el7.x86_64
[tru@gpulab00 ~]$ mount|grep tru
10.0.1.2:/master/home/tru on /master/home/tru type nfs (rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,proto=rdma,port=20049,timeo=600,retrans=2,sec=sys,local_lock=none,addr=10.0.1.2)
[tru@gpulab00 ~]$ dd if=/dev/zero of=test bs=1 count=700
700+0 records in
700+0 records out
700 bytes (700 B) copied, 0.00286438 s, 244 kB/s
[tru@gpulab00 ~]$ hexdump test
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
00002b0 0000 0000 0000 0000 0000 0000          
00002bc

다른 클라이언트에서 동일한 파일을 읽습니다.

[tru@gpulab03 ~]$ uname -r
3.10.0-1160.45.1.el7.x86_64
[tru@gpulab03 ~]$  hexdump test
0000000 0000 0000 0000 0000 0000 0000 0000 0000
*
00002b0 0000 0000 0000 0000 0000 0000          
00002bc
[tru@gpulab03 ~]$

관련 정보