思考実験とD.I.Y.

D.I.Y and Gedankenexperiment

【10GbE】ファイルサーバーのM/B交換&10GbE化:[8]10GbE/SFP+ NIC/(4)NIC追加

PC/デフォルトゲートウェイ向けに、2枚目の”10GbE/SFP+ ネットワークインターフェースカード(NIC)”を追加しようと思います【注*1

  • 小生の健忘禄、兼作業記録になっていますことをお詫び申し上げます🙇‍♂️ 

6. 10GbE/SFP+ NIC追加

追加する”M.2用10GbE/SFP+ NIC”は1枚目と販社の異なるこちらになります。

1枚目の”M.2用10GbE/SFP+ NIC”と外観も一緒、箱も同じものでした。

(1)”M.2/MiniSAS SFF-8087変換基盤”の取付

あらかじめ、"10GbE/SFP+ NIC"付属の”SFF-8087プラグ/SFF-8087プラグ”ケーブルを”M.2/MiniSAS SFF-8087変換基盤”のコネクタにしっかりと取り付けておきます。

"10GbE/SFP+ NIC"付属の”M.2/MiniSAS SFF-8087変換基盤”をM2D_SBスロットに取り付けます(*2)。
(2)”10GbE/SFP+ NIC”の取付

標準ブラケットのままだとNIC基盤下部変換基盤干渉しますので、まず、ブラケットを付属のロープロファイルブラケット交換しておきます[*3]。

”10GbE/SFP+ NIC”をPCIeスロットに固定します。
"10GbE/SFP+ NIC"のコネクタ(写真赤枠部分)にもう片方の”SFF-8087プラグSFF-8087プラグ”ケーブルのプラグをしっかりと取り付けます。
"10GbE/SFP+ NIC"のSATA電源コネクタ(写真赤枠部分)にSATA電源ケーブルを取り付けます。
(3)デバイス確認

通常PCIバス番号の小さい方からデバイス番号が振られていきますが、いきなりOM3光ケーブルをつなげると、デバイス名”ix0”と”ix1”がどちらのNICなのか解らなくなることがあります。

"dmesg"コマンドで確認すると”ix0”は最初に取り付けたNIC、"ix1"は追加したNICに割り当てられているように見えます。
気になるのは"ix1"の"PCIe Bus Speed Widht”が”Unkown”になっていることです。
M2D_SB"スロットは、1段目のサウスブリッジに繋がっています(写真青枠部分)。
サウスブリッジとCPUは”Bus Widht X4”で繋がっていて(写真赤枠部分)、他のPCIeスロットやオンボードチップ(写真黄枠部分)と、このレーンを共有しています。

当然、”M2D_SB"スロットは、他の機器とCPUとの間のバスをシェアする事になるので、”10GbE”の性能をフルには発揮できないかもしれません。
この点については、実運用に入った後、様子を見てネットワークとディスクのI/Oバランスを見ながら取り付け位置を変える必要があるかもしれません。

当然のことながら”ix1”は”no carrer”、メディアも”10GbE-SR”は表示されていません。
ただし、”ix0”はLinkUpし、メディアも表示されていますので、”M2A_CPU"スロットに接続されたNICに”ix0”が割り当てられていることが確認できました。
念のため、”ix0”がサーバー間通信用に設定したNICであることを確認するために、メインファイルサーバーにpingを打ってみると、返事がありますので、”M2A_CPU"スロットに接続されたNICに”ix0”が割り当てられて正常に通信できていることを確認できました。
(4)10GbE/SFP+モジュール取付け/OM3光ケーブル接続

”10GbE/SFP+ NIC”とL3スイッチに"10GbE-SR/SFP+"モジュールを取り付け、OM3光ケーブルで接続します(写真赤枠部分)。

この段階で、LinkLEDがグリーン(写真黄枠部分)になって、LinkUpしているように見えますが、設定を終えていないのでFreeBSD上では”no carrier”の状態です。



(5)ネットワーク設定

今回は、”bsdconfig”ではなく、CUIで設定を行います。

まず、仮のNICである1GbE-Tからケーブルを外しておきます。

root@FreeBSD14.4:# cd /etc    
root@FreeBSD14.4:# vi /etc/rc.conf    

下記記の黄色字部分を追加します。

[..]

ifconfig_ix0="inet 192.168.[aaa+1].zyz netmask 255.255.255.0 
ifconfig_ix1="inet 192.168.[aaa].zyz netmask 255.255.255.0 
#ifconfig_em0="inet 192.168.[aaa].zyz netmask 255.255.255.0
 

[..]

再起動します。

root@FreeBSD14.4:# reboot    
(6)動作確認
”ifconfig”で確認すると、2枚とも”Active”になり、Mediaには”10Gbse-SR”が表示されました。
メインファイルサーバーとデフォルトゲートウェイにpingを打って通信できるか確認します。どちらからも応答がありますので、2枚目の”10GbE/SFP+ NICix1)”も正常に機能する事が確認できました。
(7)1GbE仮NIC取外し

最後に、仮に取り付けていた1GbE-TなNIC[*4]は必要ありませんので、取り外しておきます。

 

次回に続く

ブログランキング・にほんブログ村へにほんブログ村 IT技術ブログへ

出典・引用・備考

*1:この投稿の内容は、特定の機種並びに特定の環境での確認結果になります。
同等機種や異なる環境での動作他を保証するものではありませんので、ご留意いただけます様お願いいたします。

*2:あえてCPUから遠いM2D_CPUスロットを選んだのは、M2B_CPU/M2C_CPUスロットを使うと、CPU直結の”PCIeX16スロット”は、X8モードになってしまいます。
そこで、CPU直結の”PCIeX16スロット”はX16モードで利用してPCIeスプリッター経由で2枚の”X8モードのRAIDカード”に使うことを念頭に置いています😀。

*3:

*4: