600大洋组建家用10Gb光网络
自从入了unraid的坑,各种服务器网络设备就没少买。。 因为最近出二手(gen8和mbp),备份数据的时候这个千兆网实在不够用。几个T的数据拷来拷去太浪费时间了。于是心血来潮开始研究万兆网。
首先要考虑的就是接口问题。一般常见的万兆网络有两种接口:RJ45和SFP+。家用来说这两种口都没啥区别(非要说的话sfp省电 sfp 1w 铜芯双绞线大概4-5w),但是SFP+接口有个优势,那就是有很多淘汰的工业垃圾可以捡。价格也是十分便宜。网卡的话比如单口cx311带转接板的垃圾大船只要80块钱一张,比起电口动不动两三百的价格 还是蛮香的。交换机的话其实都差不多,不管是电口还是SFP,万兆路由的价格都在四位数以上。但是呢,我有几台7*24的服务器,直接插上几块网卡上软路由就行了,省了一大笔买交换机的钱。本着能用就行的原则,毅然上了SFP+的车。
说完价格接着说这个卡,他标签上写的cx311,但实际上是cx341。从外观上也能看出这个标签是后来贴上去的。毕竟人家以色列的公司凭啥给你印个中文标签。。。至于为什么要贴311,猜测可能是前一段时间cx311卖的比较多,也比较贵,贴个311可能会卖的比较好卖。
驱动方面,官网上基本都齐了,windows,linux,esxi。 win10自带驱动,可以不装官方驱动。centos7也自带了4.x的驱动,不装也没问题。
另外这张卡支持RDMA。不过我暂时用不上这个特性,而且RoCE似乎需要交换机硬件支持,等有时间再研究了。
操作系统方面,因为我的服务器主要运行unraid,去官网看了一下unraid已经内置了connect x3的以太网驱动,所以这方面并不需要担心。
事前准备
网卡cx341a 单口x2 (单价80) = 160
网卡cx341a diy双口x2 (单价105) = 210 插到服务器上当交换机用。
SFP+模块一体光纤 7m x2(单价60 邮费15) = 135
服务器x1 电脑x2 记住一定要有pcie3.0 x4(链接速度需要至少x2)以上接口。
组网
多网卡直通到Unraid的VM中,装centos 7,配置网桥。
直通Unraid就不多说了,去system devices里面看一下pci设备的id,然后加到启动项的pci-stub.ids里面就行了。记得重启。
这里注意:这两张网卡有bug。详情请看'坑'一节
配置网桥详细说一下。linux这个网桥就是一个二层交换机的功能,网上很多介绍,我不专业,就不多讲了。网络配置的话centos 7有个很好的GUI工具,nmtui。我们就用这个搞。
1. 首先找到我们的网卡。用ethtool -i {网络接口的名称} 可以看到接口使用的驱动名字。驱动名字是mlx4_en的就是我们的mellanox 网卡。把两个接口的名字记下来。我这里两个接口分别是enp4s0和enp4s0d1
2. 进入nmtui,进入编辑链接。先编辑eth0,关闭自动连接。
3. 创建网桥,把刚刚记下来的两张网卡和unraid的虚拟连接加入一起加入网桥。我这里unraid的虚拟连接是eth0。
4. 取消eth0,enp4s0,enp4s0d1的自动连接。保持nm-bridge自动链接选中。
5. 保存并退出,然后输入service network restart 重启网络服务。不出意外应该可以进行正常链接了。
测试
可以用共享文件夹测试,但是注意两端都要使用固态硬盘才行。
这里使用iperf3进行测试。
注意iperf3测试对于接收端来说压力比较大。单stream有时候跑不出理想速度。所以这里用 P 5 参数做测试。可以看到上下行都达到了10Gb,理想状态了。
坑
1. 两张mellanox卡插到unraid里面可能只会识别出一张。直通一张到VM之后另外一张就会出现。大概是bug?不太清楚,也可能是网卡或者驱动有问题。
2. 注意:pcie接口旁边又电容啊 或者其他比较高的东西,这个卡是差不进去的 如图。 反正我的r630是翻车了,要么换个矮点的电容,要么换个卡,要么买转接线(比网卡还贵_(:з)∠)_)。最后找了个20块的转接线。反正网卡速度也没那么高,应该扛得住。
3. Dell r630 不支持这个卡。不用费劲了。目测还得花两百换x520或者博通的957711。
4. 说个跟这个卡没关系的坑,3500x就24条lane,一个显卡占了16条,根本不够用。。。。我折腾了好几天看为什么跑不到10Gbe 结果因为分到了pcie 2.0 x2 通道上。。。
5. Most SFP+ slots are backward compatible with SFP modules to run at 1G speed. However, the SFP slots on gigabit switch cannot support the 10G speed required by SFP+ modules.
总结
前前后后折腾了快一个月时间。谷歌百度了一大堆兼容性问题才敢开始动手。成本上主要是省去了一个万兆光纤交换机。这玩意死贵。用这个方法组网可以省去这个交换机,成本就降了好多。
FormatMe
校验提示文案
爱玩爱旅游
校验提示文案
伊斯坎德尔
校验提示文案
浮生行简
校验提示文案
熊猫下凡
校验提示文案
非彼非是
校验提示文案
值友7558343906
校验提示文案
舒克开贝塔
校验提示文案
石头82
校验提示文案
zjhcool
校验提示文案
explorer39
校验提示文案
无影小达
校验提示文案
sagger
校验提示文案
滔滔不撅
校验提示文案
值友7595763775
校验提示文案
值友7595763775
校验提示文案
滔滔不撅
校验提示文案
sagger
校验提示文案
无影小达
校验提示文案
explorer39
校验提示文案
zjhcool
校验提示文案
石头82
校验提示文案
舒克开贝塔
校验提示文案
值友7558343906
校验提示文案
非彼非是
校验提示文案
熊猫下凡
校验提示文案
浮生行简
校验提示文案
伊斯坎德尔
校验提示文案
爱玩爱旅游
校验提示文案
FormatMe
校验提示文案