M720Q+X710-DA4组软路由+万兆光纤内网

创作立场声明：本文所测商品为自费购入。如参加张大妈家的活动获得，我会在文中点明。坚持独立的评价观点是笔者创作的基本底线，绝不会因商品来源不同而有所偏颇，请各位放心。

一、起由

其实没啥特别的原因，就是有挺长一段时间我的WRT1900的LEDE有些功能不太好用，跟一个同事念叨了两句，他说咋不弄个软路由，又快，又好。于是乎上网搜搜，J1900什么的。后来搜到有人说M720Q，怎么怎么好，性能强颜值高做工好巴拉巴拉，比工控机路子的强巴拉巴拉。心想也罢，那就搞个强点的，于是开撸。

我的外网是千兆，最终搞定是的上联千兆，内网4光口万兆和4电口千兆，PvE上iKUAI + LEDE + 一个Windows连了一个RAID双槽硬盘盒做下载机。

二、硬件和选型

主机：Lenovo M720Q，来源深水宝（899），链接不提了，以下链接都从略。

主机可选件：包括PCIE转接卡，必选；无线网卡，没必要；无线网卡天线套件，没必要；后4口挡板，用电口4口网卡的话可选（也可不选），光口卡没必要（装不上）；90瓦或65瓦电源，总得有一个是吧，联想传统扁方口电源，如果家有老笔记本自带，不要也行。

CPU：i5-8600T，深水宝，830

内存：笔记本内存8G，旧的

硬盘：256G SSD，旧的

网卡1：东哥家I350-T4（369）和咸鱼 X710-DA4（750），只搞千兆电口的话，I350即可。我是都搞了一遍，先电后光。

网卡2：如果搞光口，我觉得你的PC上应该没有SFP+槽，所以还得有个至少单口的万兆光卡，深水宝 X520-DA1（239），我买了俩，因为有两个主机要连

SFP+模块：深水宝Intel 10G多模8571（45），我买了4个。

网卡3：USB无线网卡，Lenovo的，东哥家（69），干啥用后面说。

光纤跳线：LC-LC OM4多模双芯光纤跳线10米，深水宝(38)，2根。

旧的四口千兆无线路由一台。

铁威马双槽硬盘柜，带RAID，东哥家（499）

三、说说硬件选择过程

CPU/内存/硬盘老三样，不多说了，差不多就行。这个准系统要配8代9代TDP35瓦的U，性能相当可以，一般人都会上虚拟机。

网卡，千兆电还是万兆光或是万兆电都可以，选不同的网卡看需求。如果家里没有大容量SSD或带有RAID的NAS存储，那千兆也就够了，毕竟机械硬盘的上限也就150MB，也就合千兆多一点，还不一定能持续发力。有万兆需求的话，现有的超5类线估计够呛，新拉6类线不见得比光纤便宜，而且线又硬又不好铺。所以我还是上万兆光了。

第一个要说的注意事项是网卡的版型，主要是长度问题。千兆卡一般没啥问题。M720Q内部总长度大约17cm，但是大部分常见X710-DA4都是17cm的版型，可能必须得拆掉无线天线架才能装上。可能啊，我没买来试过，这个网卡长度是一个淘宝店主量了告诉我的。这种卡应该是比较麻烦的，就下边这种。

估计不能用的网卡

我是看了网上另一个神仙的帖子，他的X710是短板型，如下图

可用的网卡（注意这不是我的，是某前辈的）（转载）

深水宝找不到，咸鱼上无意中找到一个，还有几块，我下单了一块，这个我量了一下，15cm长。正合适。深水宝上有一些短板型的标着HBA卡，可能也不行，买的时候要问好。

关于网卡的挡板。电口比较好办，M720Q有原配的4口电口挡板，就是比较贵，150+。严丝合缝毫无破绽，见图：

电口网卡挡板

光口就没有，自己想办法。上边那个大神是把原配的用来装VGA口的挡板自己锯了一下，弄好了这样的：

别人弄的自加工挡板（转载）

我虽然手头也有家伙什照样锯一个出来，但是懒癌发作，算了。

其实是因为我发现其实Lenovo这个位置其实没那么不堪，其实是个挺标准的空挡，比一般的挡板位置窄那么几毫米，形状、长度其实都一致。于是，很简单地，找把钳子，把自带短挡板的弯头掰直，把一个比较长碍事的大固定螺丝去掉，就这么成了。

我的省事版方案

由于没有精确钣金，我也没那个设备，所以左边的那边没能如同原装挡板一样地、稍微地浮起一点（如果你买到手就知道我啥意思了），所以，这个挡板是倾斜的。但是So what，这比没有强多了。我在左边还是稍微地加工了一下，电磨开了个小槽出来，可以拧上原位置的一个小螺丝，固定一下。但是不开这个槽上这个螺丝也没事，基本不影响固定。

扣上盖子以后是这样的，挡板的外边缘那个弯折恰好露在了机箱的外边，跟谁都不打架，很和谐。我这个相比上边那个神仙的方案，还有一个好处是，四个口的指示灯完美可用。（用上边那个神仙的方案可能不行，那个方案里，上边能留的金属边缘太窄了，没法再开8个槽显露指示灯，所以他干脆把导光板都去掉了）

定妆照

网卡的选择其实最麻烦，我还踩了一圈坑。因为我的上游是千兆电，下游也有千兆电的路由器什么的。710万兆光口能不能转成千兆电呢？

为这个我淘宝骚扰了一大票多个品牌的店主，一多半告诉我说没戏，另一半说他家的模块是自适应的可以。最终我测试了一个EB-Link的SFP+转电口万兆千兆自适应模块，标注了要兼容Intel的，结果诡异，确实可以通，但是在我的千兆线路上只有不到百兆的速度。我不是说这个品牌有问题啊，可能还是兼容性，因为有若干品牌的类似模块特别标注了710不行。另一个我测试的是博扬的SFP千兆光电转换模块，不带加号不是万兆，在我的那两块X520上OK，能顺利到千兆的速度，但是在710上根本不亮，貌似710，520都是10G/1G自适应的，不知道啥问题。

而且这些光电转换模块都很热，所以我最终决定：算了，另买了一个USB3.0的千兆网卡。主机主板上的电口做上联，USB电口网卡做下联。

四、系统安装

虚拟平台可选的无非ESXi，PvE，Windows Hyper-V。Hyper-V太重型了，还得带个Win Server，不知道要损耗多少性能，我看极少有人这么搞，首先Pass。ESXi我其实已经有好几个，很熟悉，不过觉得还是点重，我那几个每次启动都得好半天，也暂时Pass。这次打算用用PvE先试试。

装PvE的时候还没有装其他网卡，所以板载网卡就是管理口，自己随便设个IP就可以了，当然你的PC上也得加个同子网的IP，才能连上。网上有人说这个管理口只能是板载卡，其实不是，装好以后，在PvE节点自己的硬件属性里，能看到这个管理IP被绑定到某一个网桥上，这个网桥又被绑定了板载网卡一般叫eno1，但是这个是可以改的，你可以把随便哪些网口，光口电口都绑到这个网桥上，甚至这个网桥也可以换，这样随便从哪儿就都可以进管理界面。我的绑定如下图。

网卡绑定

我有6个物理口：板载电口，USB电口，4个光口。USB网卡和万兆光卡，还包括曾经用过又取下来的千兆4电口卡，PvE都可以自动驱动，不用自己麻烦。不管是4口千兆还是万兆，我这里名字都没变，都是enp1s0f0-s0f4。所以么，电口光口网卡切换没压力，啥设置都不用改，换完重插一遍线就可以了。

我闲的没事建了4个网桥，0和5没用。剩两个网桥vmbr1和vmbr2是有用的。vmbr1用来接上游外网，绑定板载电口eno1和1号光口enp1s0f0（实际这个1号光口现在并没有用到，以后要用的话我会把它挪到vmbr2去，现在......我懒癌了）；vmbr2用来对应内网，绑定了其他3个光口和USB电口。管理地址是192.168.1.225 / 24，也绑定到了内网网桥上。这样，内网随便哪个机器，都能访问PvE管理端，空白PvE不装任何虚拟机都可以。

顺便说一句，电卡和光卡的编号顺序不一样，虽然都是Intel自己家的。就我上边照片里那个摆放方式，如果是电口，4个口最下边的是enp1s0f0。光口的话，对应的是最上边那个口。我是福至心灵，大彻大悟才悟到的，真是见了Intel的鬼了。

圆规正传，这俩网桥，1和2，后边装各个虚拟机，软路由都绑上就行了。记住哪个对哪个。比如下边是我的iKUAI的绑定方式：

软路由绑定

vmbr2刚才说了是内网，图上对应iKUAI的net0，同理可得，net1是外网。在iKUAI的管理界面别弄糊涂就行。各个网卡都用半虚拟化的方式，MAC地址么就随他去吧。

如果两个虚拟机绑定了同一个网桥，那么默认他俩就能通。这个也是我一开始糊涂的地方，一度以为在iKUAI和LEDE之间还得来根真的网线。而且，还可以弄个不绑定任何物理网卡的内部虚网桥，俩虚拟机可以用这个虚网桥连上进行通信。PvE内部的这种虚网桥带宽极大，我用iperf3测试单线程可以到6G左右，多线程可能只取决于CPU的能力，我测出来过15G的，高了也没意义，所以没使劲测。奇怪的是ESXi却不行，这种内部网桥我测的不过1.5G而已，同时它的外部带宽在万兆卡上却可以到10G，不知道是不是我哪儿没弄对。（BTW：最开始研究的时候，也见到过网上有人说PvE网络性能损耗低）

如果装Windows，随便你怎么绑网桥，绑到外网上，它就是台外部的机器，从外部获取WAN的地址，想跟内网通要通过路由器，端口转发什么的。绑到内网网桥上，那就是台内网机器，走局域网地址。看怎么用了。

网络设计针对自己需要自己设计吧，进一步的还可以在软路由里设置VLAN什么的。不过如果要在软路由里设置VLAN，就不能像我这样在网桥上都绑在一起，我这样的在路由里看到的就只有两个网口，没法分。要分开每物理端口各自绑定一个网桥，再把所有网桥都添加到软路由的设备列表里，在软路由里面再进行WAN、LAN的分配。但是如此设置的话，管理端口地址就只能绑在其中一个网桥上，不能全通。抑或可以多设几个不同的管理IP，分别绑，不同的主机使用不同的IP访问PvE管理端。这个有点麻烦，反正我没试。另外，这样分开的话端口之间的通信貌似要通过软路由，不知道有没有性能损失。愿意折腾的可以试试。

网络设计和设置好之后，爱怎么装就怎么装，我是iKUAI做主路由，LEDE做单臂旁路网关，也叫旁路由。各种帖子多的是，安装配置镜像转换等等我就不多说了。我这么弄俩有我的原因，我有WAN口单线多个IP的需求（不是负载均衡）、IPV6的需求、VPN的需求、还有..上网的需求。需求太多，难免难过。都用LEDE弄起来有点麻烦，懒癌再次发作，不想琢磨了，iKUAI有些是现成的就可以解决的，所以就分开成俩了。话说我还自己搭了LEDE的编译环境，能够编译出来可用的LEDE固件，但是后来还是恩山上找了一个别人做好的。

做好之后iperf3测速：

前面说了，PvE内部的互通速度可以飙到没什么卵用的15Gbps或更高。10G光路上，Windows单线程缺省设置啥参数都不加，最高3.2G，多线程或是加大Cache比如加 -P 4 -w 2M，可以到9.6G，这个就差不多了够意思了。1G电通路，虽然经过了外置的那个旧路由器，还有那个USB3网卡的弯弯绕，还是可以到960M左右，基本满。5G无线，300M没啥问题，这都可以了。

不过，要想到10G，巨帧要开的，否则10G线路不管怎么搞，也就最多到5G多。PvE里的各个物理卡光口，MTU设成9014，对应的网桥MTU也设成9014，两端的PC上的网卡设置，高级参数里，巨帧也要选成9014。iKUAI里有没有相关设置忘了，有的话也设成9014，9014不让设的话就设成9000（计数方法不一样，其实一回事），反正整个通路都是9000/9014就可以。

实际smb拷贝大文件，我还真是没有两端都能读写到1GB/s的存储设备，所以测不到顶。写入端用NVME SSD，读取端实测一个6HD盘RAID6能到600MB多的速度，一个2HD盘RAID0能到300MB，达到了我这些HD存储的极限，我基本满意。

五、总结

不写点啥好像不完整。

嗯.......以上，PvE整体负载其实很低，SSD用量也挺少，搞更多的应用也是完全可行的。NAS，黑群，智能家居等等，有时间慢慢折腾吧。