PICe3.0 x4で動く10GbE NIC”Mellanox ConnectX-3″に交換したのでベンチマーク

PICe3.0 x4で動く10GbE NIC”Mellanox ConnectX-3″に交換したのでベンチマーク

最初に買った10GbEネットワークのうち、NICが1枚不調になりました。
OSが定期的にフリーズしたり、ゲームでは数秒単位でパケロスしたり。

実効速度9.6Gbps。最安ラインで10GbEネットワークを組む(一部犠牲有り)

でももう”x8なPCIeカード”は買いたくない!
という事で”PCIexpress3.0 x4”で動作する10GbE NIC”Mellanox ConnectX-3″を取り寄せました。

MCX311A-XCAT ConnectX-3 Single Port 10G NIC Card

MCX311A-XCAT CX311A ConnectX-3 Single Port 10G NIC Card

購入時は5,763円で送料無料(Aliexpress Standard Shipping)
2022-02-21支払い、2022-03-07到着。
自動的に同時決済の他2点と合わせ配達されました。結構早いのでは。

ConnectX-3=MCX311A-XCATはMellanox社(今は買収されてNVIDIA)の10 GigE singleport SFP+カード。
MellanoxはInfinibandとか、高速なインターコネクト製品で有名な会社です。

新旧のカードをならべたところ。

下のMCX311A-XCATは基板自体が小型で端子もx4サイズのため小さい。Lowprofileブラケットも付属します。
上のIntel X520(互換品)はDualポートモデルと基板が共用なのか大きめ。

SFPスロット横にアクセスLED有り。
グラボの前に挿しても吸気を妨げにくいサイズ。

※実際挿すのは手前の_3スロット

認識確認

ROG Strix X570-F Gamingはx4幅のPCIEx16_3スロットなら、使ってもグラボ(PCIEx16_1)がの帯域幅がx16を維持できます。これがやりたかった。

MCX311A-XCATをPCIEx16_3(x4)に挿し、HWINFOで状態を確認します。

PCI Express x4 バス #4 [PCIEX16_3] ----------------------------------------


Mellanox Technology ConnectX-3 VPI (MT04099) Network Adapter --------------

 [一般情報]
  装置名:                                Mellanox Technology ConnectX-3 VPI (MT04099) Network Adapter
  元のデバイス名:                        Mellanox Technology ConnectX-3 VPI (MT04099) Network Adapter
  デバイスクラス:                        Ethernet Adapter
  Revision ID:                            0
  PCIアドレス番号(バス:デバイス:機能): 4:0:0
  PCI Latency Timer:                      0
  Hardware ID:                            PCI\VEN_15B3&DEV_1003&SUBSYS_005515B3&REV_00
 [PCI Express]
  バージョン:                            3.0
  最大リンク幅:                          4x
  現在のリンク幅:                        4x
  最大リンク速度:                        8.0 GT/s
  現在のリンク速度:                      8.0 GT/s
  デバイス/ポートタイプ:                 PCIExpressエンドポイント
  実装されたスロット:                    番号
  Emergency Power Reduction:              サポートされていません
  Active State Power Management (ASPM) Support: L0s
  Active State Power Management (ASPM) Status: Disabled
  L0s Exit Latency:                       >4 us
  L1 Exit Latency:                        >64 us
  Maximum Payload Size Supported:         512 bytes
  Maximum Payload Size:                   256 bytes
  サイズ変更可能なBARサポート:           サポートされていません
 [システムリソース]
  割り込みライン:                        N/A
  割り込みピン:                          INTA#
  メモリベースアドレス 0                  FC500000
  メモリベースアドレス 2                  7C10800000
 [特徴]
  Bus Mastering:                          有効
  Running At 66 MHz:                      できません
  Fast Back-to-Back Transactions:         できません
 [デバイスドライバー情報]
  ドライバーメーカー:                    Mellanox Technologies Ltd.
  ドライバーの説明:                      Mellanox ConnectX-3 VPI (MT04099) Network Adapter
  ドライバープロバイダー:                Microsoft
  ドライバーバージョン:                  5.50.14695.0
  デバイスドライバーの日付:              19-Jun-2019
  DeviceInstanceId                        PCI\VEN_15B3&DEV_1003&SUBSYS_005515B3&REV_00&128C7FE0&0&0010000A
  Location Paths                          PCIROOT(0)#PCI(0102)#PCI(0000)#PCI(0200)#PCI(0000)

正しく3.0 x4で認識しました。
8.0GT/s * x4 * (128b/130b) = 31.508Gbpsまでキャパがあります。
本当はPCIe4.0のチップが出てくれたらx1で済むのに。

ベンチマーク

iPerf3

前の記事で「iPerfでスピード出ない!」って書いてますが、-Pオプションでマルチスレッドにしないとシングルではあのくらいが妥当というオチでした。

>iperf3.exe -c 192.168.1.1 -M 1414 -P 8 -l 512K -t 10
Connecting to host 192.168.1.1, port 5201
前略
- - - - - - - - - - - - - - - - - - - - - - - - -
[  4]   9.00-10.00  sec   128 MBytes  1.07 Gbits/sec
[  6]   9.00-10.00  sec   115 MBytes   962 Mbits/sec
[  8]   9.00-10.00  sec   192 MBytes  1.61 Gbits/sec
[ 10]   9.00-10.00  sec   123 MBytes  1.03 Gbits/sec
[ 12]   9.00-10.00  sec   117 MBytes   981 Mbits/sec
[ 14]   9.00-10.00  sec   189 MBytes  1.59 Gbits/sec
[ 16]   9.00-10.00  sec   109 MBytes   918 Mbits/sec
[ 18]   9.00-10.00  sec   121 MBytes  1.02 Gbits/sec
[SUM]   9.00-10.00  sec  1.07 GBytes  9.17 Gbits/sec
- - - - - - - - - - - - - - - - - - - - - - - - -
[ ID] Interval           Transfer     Bandwidth
[  4]   0.00-10.00  sec  1.21 GBytes  1.04 Gbits/sec                  sender
[  4]   0.00-10.00  sec  1.21 GBytes  1.04 Gbits/sec                  receiver
[  6]   0.00-10.00  sec  1.14 GBytes   983 Mbits/sec                  sender
[  6]   0.00-10.00  sec  1.14 GBytes   983 Mbits/sec                  receiver
[  8]   0.00-10.00  sec  1.95 GBytes  1.68 Gbits/sec                  sender
[  8]   0.00-10.00  sec  1.95 GBytes  1.68 Gbits/sec                  receiver
[ 10]   0.00-10.00  sec  1.13 GBytes   971 Mbits/sec                  sender
[ 10]   0.00-10.00  sec  1.13 GBytes   971 Mbits/sec                  receiver
[ 12]   0.00-10.00  sec  1.11 GBytes   951 Mbits/sec                  sender
[ 12]   0.00-10.00  sec  1.11 GBytes   951 Mbits/sec                  receiver
[ 14]   0.00-10.00  sec  1.94 GBytes  1.67 Gbits/sec                  sender
[ 14]   0.00-10.00  sec  1.94 GBytes  1.67 Gbits/sec                  receiver
[ 16]   0.00-10.00  sec  1.10 GBytes   945 Mbits/sec                  sender
[ 16]   0.00-10.00  sec  1.10 GBytes   945 Mbits/sec                  receiver
[ 18]   0.00-10.00  sec  1.15 GBytes   988 Mbits/sec                  sender
[ 18]   0.00-10.00  sec  1.15 GBytes   988 Mbits/sec                  receiver
[SUM]   0.00-10.00  sec  10.7 GBytes  9.22 Gbits/sec                  sender
[SUM]   0.00-10.00  sec  10.7 GBytes  9.22 Gbits/sec                  receiver

iperf Done.

スレッドも増やせばいいという訳ではなく、ベストなあたりを探ると8~10くらい。
ちゃんと9.2Gbpsくらい出ています。

CristalDiskMark

実際のサーバPCへのディスクアクセステスト。
しかし何故かシーケンシャルリードだけ低い。大事なとこなのに!

前回からはOSもツールバージョンも変わっています。
これはネットワーク起因ではなくどちらかによるディスクアクセスの問題と考えます。
トップスピードに差はないものの、ランダムアクセスが向上しています。
これもNICの交換によるものかは不明。

シーケンシャルライト中のトラフィックをMikrotek CRS305-1G-4S+コンソールで確認。

最高時9.8Gbpsとなっています。

Win11でも問題なく使える10GbE NIC

というわけで、X520と同様に10Gbps通信ができました。
x8なんてサーバにしかないようなサブスロットを用意しなくていいし、カードもコンパクト。
今ではX520カードは高騰したため、最安ピア・ツー・ピアで組むならこのカードです。

これに10GBase-T SFPを挿して1万円ちょっとのUTP用NICにしてもいいでしょう。
安定性に難有りな話のあるMarvell AQC107を使わずに安定したCopperネットワークも組めます。

コメントを残す