☰

서로 다른 데이터 센터에 있는 두 서버 간의 처리량 문제, scp가 느림

tag-icon • tag-icon linux networking network-interface
서로 다른 데이터 센터에 있는 두 서버 간의 처리량 문제, scp가 느림

네트워크 지원을 기반으로 DC 간에 10Gbps 네트워크 링크가 있습니다.

이 두 웹 기반 서버 사이에서는 100MB/초 또는 >50MB/초를 얻어야 하지만 6MB/초를 얻고 있으므로 그 이유를 찾고 있습니다.

두 서버 모두 Linux(RedHat Linux 7)입니다.

SeverA.Domain1.com(10Gbps 네트워크에 연결됨)

ethtool em1
Settings for em1:
    Supported ports: [ TP ]
    Supported link modes:   1000baseT/Full 
                            10000baseT/Full 
    Supported pause frame use: Symmetric Receive-only
    Supports auto-negotiation: Yes
    Supported FEC modes: Not reported
    Advertised link modes:  1000baseT/Full 
                            10000baseT/Full 
    Advertised pause frame use: Symmetric
    Advertised auto-negotiation: Yes
    Advertised FEC modes: Not reported
    Speed: 10000Mb/s
    Duplex: Full
    Port: Twisted Pair
    PHYAD: 13
    Transceiver: internal
    Auto-negotiation: on
    MDI-X: Unknown
    Supports Wake-on: g
    Wake-on: g
    Current message level: 0x00000000 (0)
                   
    Link detected: yes

Sever2.Domain2.com(1000Mb/초에 연결됨)

ethtool em1
Settings for em1:
    Supported ports: [ TP ]
    Supported link modes:   1000baseT/Full 
                            10000baseT/Full 
    Supported pause frame use: Symmetric Receive-only
    Supports auto-negotiation: Yes
    Supported FEC modes: Not reported
    Advertised link modes:  1000baseT/Full 
                            10000baseT/Full 
    Advertised pause frame use: Symmetric
    Advertised auto-negotiation: Yes
    Advertised FEC modes: Not reported
    Link partner advertised link modes:  Not reported
    Link partner advertised pause frame use: Transmit-only
    Link partner advertised auto-negotiation: No
    Link partner advertised FEC modes: Not reported
    Speed: 1000Mb/s
    Duplex: Full
    Port: Twisted Pair
    PHYAD: 13
    Transceiver: internal
    Auto-negotiation: on
    MDI-X: Unknown
    Supports Wake-on: g
    Wake-on: g
    Current message level: 0x00000000 (0)
                   
    Link detected: yes

서버 A에서 서버 B까지의 scp 속도 < 6MB/초

iperf 및 qperf 실행

qperf는 15MB/초를 표시합니다.

qperf -t 60 -v ServerB.domain2.com tcp_bw tcp_lat
tcp_bw:
    bw              =  15.4 MB/sec
    msg_rate        =   234 /sec
    time            =    60 sec
    send_cost       =  20.1 sec/GB
    recv_cost       =  14.8 sec/GB
    send_cpus_used  =    31 % cpus
    recv_cpus_used  =  22.7 % cpus
tcp_lat:
    latency        =  17.3 ms
    msg_rate       =  57.7 /sec
    time           =    60 sec
    loc_cpus_used  =  29.9 % cpus
    rem_cpus_used  =  16.4 % cpus

iperf shows

iperf -c ServerB.domain2.com
------------------------------------------------------------
Client connecting to ServerB.domain2.com, TCP port 5001
TCP window size: 85.0 KByte (default)
------------------------------------------------------------
[  3] local 10.xx.xxx.xx port 29404 connected with 10.xx.xxx.xxx port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  48.6 MBytes  40.7 Mbits/sec

두 서버 간의 처리량이 왜 이렇게 느린가요? 서버 구성이나 네트워크에 문제가 있습니다.

이상한 점은 반대 방향, 즉 Server2에서 Server1로 방향을 테스트하면 scp 속도가 약 50MB/초이므로 반대 방향에서 더 나은 성능을 발휘한다는 것입니다.

제안해 주세요. 문제가 Linux 서버 구성에 있는지, 아니면 네트워크 문제인지 알아보고 있습니다.

관련 정보