Ubuntu에서 높은 평균 RTT로 느린 NFS를 디버깅하는 데 도움이 필요합니다.

저는 VM 데이터가 NFS 서버에 저장되는 여러 libvirt 하이퍼바이저를 관리하고 있습니다.

저는 하이퍼바이저의 CPU에서 높은 I/O 대기를 경험하고 있었고 더 자세히 살펴보기로 결정했습니다. 출력은 iotop프로세스의 io가 매우 느리다는 것을 보여줍니다.

나는 다음을 살펴보기로 결정했습니다 nfsiostat.

192.168.20.6:/vms/vmsfs mounted on /mnt/vms:

           ops/s       rpc bklog
         185.786           0.000

read:              ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                  13.158        2806.170         213.268        0 (0.0%)           7.583          23.431
write:             ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                 150.745        2750.688          18.247       31 (0.0%)          35.196         828.924

보시다시피 시스템에서는 매우 높은 avg RTT금액을 보고합니다 avg exe.

nfsiostat -a보고서는 다음과 같습니다.

192.168.20.6:/vms/vmsfs mounted on /mnt/vms:

           ops/s       rpc bklog
         185.786           0.000

getattr:           ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                   5.631           2.326           0.413        0 (0.0%)           4.644          10.792
access:            ops/s            kB/s           kB/op         retrans    avg RTT (ms)    avg exe (ms)
                   0.001           0.000           0.344        0 (0.0%)           7.873           9.911

186771 VFS opens
15897283 inoderevalidates (forced GETATTRs)
9734677 page cache invalidations
159935979 attribute cache invalidations

설치 옵션은 다음과 같습니다.

192.168.20.6:/vms/vmsfs on /mnt/vms type nfs4 (rw,relatime,vers=4.2,rsize=1048576,wsize=1048576,namlen=255,hard,proto=tcp,timeo=600,retrans=2,sec=sys,clientaddr=192.168.20.4,local_lock=none,addr=192.168.20.6)

하이퍼바이저와 NFS 서버는 모두 별도의 VLAN에서 SFP+를 통해 단일 스위치에 직접 연결됩니다. 연결된 시스템 중 CPU 또는 RAM 사용량이 높은 시스템이 없습니다.

현재 여기서 어디로 가야할지 모르겠으며 이 문제를 디버깅하려면 올바른 다음 단계를 수행하는 데 도움이 필요합니다. 나는 당신의 의견을 듣고 싶습니다.