新人下载app,立即提现现金 您的好友 送你现金 去提现

私家 homelab 篇二:家用低噪音万兆网络搭建

huhamhire 01-30 17:48 关注

小编注:此篇文章来自#原创新人#活动,成功参与活动将获得额外50金币奖励。新人发布首篇文章可在什么值得买APP“我的”-“我的任务”-“新手任务”-“发布一篇社区文章”额外领取50金币

前言

前一篇传送门


本系列前一篇文章中已经提到了在家中组件一个 Ceph 集群的需要,都 2020 年代了,少不了需要升级到 10G 万兆局域网才能愉快的玩一些局域网的应用。这一篇就来聊一聊这次集群升级 10G 组网对于硬件的选择,网络规划,以及拓扑设计。当然,如果已经有 40G/100G 局域网的大佬们这篇文章差不多可以忽略了。

对于网络设备的采购而言,笔者本人相对比较倾向于新购而不是收企业级的洋垃圾,毕竟网络设备上各种 OEM 厂商固件,授权问题产生端口限制的坑。当然,诸如 Netgear, Ubiquiti, Mikrotik 这些比较常见于低端企业级/高端民用市场的品牌产品,收二手也不会遇到太大问题。我自己这次使用的都是千元级设备,家用场合应该也能够负担的起。

01. 组网规划

原先的组网基本上除了一台 netgear PoE 交换机外,算得上是 Ubnt Unifi 系列全家桶方案。Unifi 系列的 AP 很好用,性能稳定,后期固件有周期性支持,Unifi Controller 的交互界面也是业界标杆,所以原先我的网关路由器为了省事也是直接用了一台 USG 可以做统一管理,先前版本的网络拓扑大致可以参考下图,无关设备已省略。

原先的组网拓扑结构原先的组网拓扑结构

本次组网,并不打算调整 Wifi 无线网,所以讨论的重点是有线网组网。原先局域网中已经划分了 vlan 进行不同类型的设备管理,网段划分,以及安全性隔离,设备升级同样需要支持 vlan 管理。然而随着局域网治理的需求的增长,USG 虽然也支持 vlan,也能搞定运营商的 IPv6,但是很多个性化的需求上配置起来只能改 json 实现,动不动就会被 controller 给同步掉,所以这次准备把有线路由器也替换一下。原先还有一台网件的 JGS524PE 交换机,暂时仍然可以继续用来给局域网提 PoE 设备进行统一供电。

unifi controllerunifi controller

再来谈一谈 Vlan 的划分,其实在家中设备多了以后,特备是到了这个年代,IoT 设备兴起以后,什么油烟机冰箱之类的动不动就要连个网,全设备生命周期的固件基本都不会升级一次,从局域网安全性角度而言,vlan 的划分很有必要。更何况现在运营商 IPv6 接入已经铺开,我也不希望的各种设备管理入口通过公网 IPv6 地址都各自暴露在互联网上,很有必要进行隔离划分,控制内部互相之间的访问权限。

vlan 一般通过在数据包上打上特定的标签来实现,其作用是可以将不同的端口划分到不同的广播域上进行隔离,通俗一点的解释就是可以将一台交换机上的不同端口拆分来当多台不同的交换机来用,而不需要购买多台交换机单独管理。一般网络设备上对 vlan 的支持也有简易版和全功能版的区别,一般建议使用完整支持 IEEE 802.1Q 规范的设备来划分 vlan,可以通过 tag 的策略将不同 vlan 上的数据 trunk 到同一根链路上进行数据传输。

在部署 Ceph 网络之前,我已经按照不同用途划分了五组 vlan,引入 ceph 以后,要给其内部单独划分一路内部网络。所以这次调整后的网络规划如下。

此外,路由器上还准备提供一个独立网段,CIDR: 10.1.17.0/24,用于提供离家状态下,访问家中网络的 VPN 接入。

02. 网络设备

网络设备选择上,品牌其实相对比较次要的,同级别的产品,不同的厂商都可以提供对标的竞品选择。在选择过程中,我考虑的主要方面是功能性,安全性,价格的亲民程度,以及家中部署很关键的一点,噪音级别。当然,有独立机房的大佬可以不考虑这些,玩的开心就可以了😂,无奈我只有客厅一角的小隔间。

这些年下来,我已经在各种场合下实际用过了 Cisco, H3C, Huawei, Netgear, Linksys, Ubiquiti, Mikrotik 这些品牌的路由器和交换机设备。家用场合,倾向于选择面向家用或者中小企业应用场景下设计的设备。大型设备动不动就是大功率+冗余电源,家里环境完全不适合。所以这次更加倾向于考虑采购 Ubiquiti 的 EdgeMax 系列或者是 Mikrotik 的产品。

EgdeRouter 的系统在企业级场景下稳定性表现相当好,我在数据中心生产场景中实际部署过 EdgeOS 的路由器,连续运行以上也没有遇到过问题,如果家里特别追求安全稳定或者是小型企业应用场景的话,也推荐他们家的产品,4 口的路由器做 vlan trunk 配置也是能用起来的。而且 EdgeRouter UI 界面上的配置树可以对路由器的完整 json 配置进行整体管理,交互设计独到。

私家 homelab 篇二:家用低噪音万兆网络搭建

在权衡了一下以后,我这次想在家里把专门的 ROS 路由器搞起来,省的再搞软路由,加上拉脱维亚公司相对价格低不少,直接选择了一系列 Mikrotik 的路由器和交换机。Mikrotik 其实也是家农企作风满满的公司,除了 ROS 这个系统功能全做的响当当以外,时不时会爆出一些古怪的 bug,或者很容易因为配置不当导致安全性漏洞的出现。然而小问题并非无法克服,ROS 也可能算是业界功能最全的路由器系统之一,再加之价格实在是比别家便宜太多,最终使得我这次选择了 Mikrotik。

  1. Mikrotik CRS309

全被动散热,提供 8 个 10G SFP+ 端口 + 1 个 G 口用于管理用途。如果需要更多万兆端口,同系列还有一只 CRS317 可以选择,只不过 CRS317 的问题在于配置了两个 4cm 电压调速风扇。为了尽量做到无噪音,我最终选择了 CRS309 的方案,毕竟机身后面单靠一个巨大的 heatsink 就搞定了散热问题,在家用场景下用起来其实相当棒。甚至如果后续要扩容的话,我都想直接整两台 CRS309 来搞了,反正 ceph 内部网络也不需要与外部网络通信。

私家 homelab 篇二:家用低噪音万兆网络搭建

私家 homelab 篇二:家用低噪音万兆网络搭建

值得一提的是,CRS 的交换机都预装 ROS,号称是三层路由/较换 + 二层交换两用,实际上这个系列的 CPU 配置并不足以承载三层较换的转发处理需求,我拿来也只是开当二层交换机,配合 vlan 来用。

2. Mikrotik CSS326

除了 10G 设备以外,局域网里在整体增加了三台服务器以后,我原先的那台 Netgear JGS524PE 交换机已经显得端口不够用了,所以再入了一台 CSS326 来做千兆网络的二层较换。选这台的理由是价格便宜,只要 800 软妹币以内,能提供两个 10G 的 SFP+,而且也是被动散热,0 噪音。

私家 homelab 篇二:家用低噪音万兆网络搭建

私家 homelab 篇二:家用低噪音万兆网络搭建

这个型号有个兄弟是 CRS326,我不选的理由一个是贵了几百块钱多了很鸡肋的三层较换功能,我并没有强需求。另一个理由是多了一个 4cm 的散热风扇,会引入噪音,且先前版本系统还有 bug。CSS326 几乎是同一套模具出来的产品,只不过后面的风扇安装位置留空,同样可以做到 0 噪音。

3. Mikrotik RB4011

这应该是目前市场上,所能找到的最便宜的带 10G SFP+ 端口的路由器,而且系统是有 L5 授权的 ROS,全金属机身,后方有巨大的 heatsink 来实现全被动散热,0 噪音。很多评测下的小包转发能力相当强悍,价格只要 1k 的水平。

私家 homelab 篇二:家用低噪音万兆网络搭建

虽说比上代 RB3011 系列少了一个酷炫的显示屏,但也足够了。要显示屏监控的大佬们可以考虑下 CCR 系列的产品,比如 CCR1009 可以提供两个 SFP+ 口,外加显示屏😂。唯一的缺憾是 CCR 系列冗余电源设计有噪音,家用并不是很推荐。我自己的需求是尽可能做到被动散热,不然有风扇的设备一多,噪音很难压制,特别是网络设备 4cm 风扇转速都不低。

私家 homelab 篇二:家用低噪音万兆网络搭建


最后再来谈谈线缆的选择。机柜内部的短距离 10G 网络其实完全没有必要用光纤方案,一方面光线模块本身相对来说成本更高,且功耗更大,另一方面的问题是,SFP 接口终究还是电信号的,光电转换过程其实存在损耗。在短距离上,最好的方案应该是使用 DAC 直连线,没有光电转换损耗,接头模块本身没有太大技术含量,直接连线实现。所以我在 10G 缆线的选择上,采购了七根拆机的 3m 华为直连线,单价 35 块,再买了两根新的 0.5m 直连线,价格也很便宜,轻松搞定 SFP+ 端口的连接问题。

私家 homelab 篇二:家用低噪音万兆网络搭建

光纤布线的优势是适合长距离,单位长度光纤成本低(但是光纤模块价格感人),另外空间提及占用比较节省,家里组网布线的话,用光纤的主要原因一般也是带来一定程度的便利性,而不是成本控制。

对于万兆网络,普通 Cat6 网线在 50m 距离内也足够胜任,而且兼容新更好,RJ45 模块可以做到 10G/5G/2.5G/1G/100M/10M 的梯度自适应。光模块的速率是恒定的,无法两端相互协商。另外,网线还有个优势是可以提供 PoE 供电支持,可以通过交换机解决局域网内 AP,网络摄像头等小型设备的供电问题,光纤不是电的导体,显然理论上就无法提供这个功能。相对来说,网线在后期可维护性上会很方便,毕竟家里可以买把压线钳,但是如果买光纤熔纤机的话就有点过分了,出去借总是个麻烦事儿,所以先期我家中采用了网线组网方案。

03. 组网

设备敲定完成后,便可以着手把网络给搭建起来。除去次要设备以外的主要组网拓扑结构如下图所示。

私家 homelab 篇二:家用低噪音万兆网络搭建

初步搭建完成后,简单用 iperf 做下测速,虽然都是入门级 10G 设备,但是基本上也足够跑到线速,交换机的管理统计上也可以看到相关数据。

私家 homelab 篇二:家用低噪音万兆网络搭建

ROS 的各种功能在家用场景下用起来也是真的香。USG 没法做 VRRP 的单线多拨,ROS 就可以,不过实测下来我这边的运营商环境下即使开了多拨,速度也并没有叠加提升,最终又去掉了多拨的配置。系统自带简化版 OpenVPN Server 以及 L2TP Server 功能,对于出门在外的时候需要访问内网资源也已经足够堪用了。唯一的不足是,ROS 在 SLAAC 环境下不支持将 /60 前缀的 IPv6 地址分配给不同 vlan,不过用 /56 或者 /58 的前缀,当然前提是需要运营商能够支持。而 EdgeRouter 的系统提供了一个额外的 prefix 配置就避开了这个问题,所以 ROS 在有些方面还需要完善。

私家 homelab 篇二:家用低噪音万兆网络搭建

至此,本次家中针对网络部分的改造基本完成,进入 10G 时代以后,诸如 iSCSI 这样曾经没有考虑过的应用,也可以在家里愉快的搞起来了。后续要是再有闲工夫,可能会考虑换一个更小的被动散热 POE 交换机,毕竟我这台 Netgear 里面也有一个风扇。另外再申明下,本人不是专业网络工程师,可能在部分说明上存在疏漏,望各位多多包涵。本系列下一篇将对 PVE 与 Ceph 集群的搭建进行介绍。

私家 homelab 篇二:家用低噪音万兆网络搭建

最后的最后,欢迎各位大佬转发评论点赞,留下碎银子再走私家 homelab 篇二:家用低噪音万兆网络搭建


展开阅读全文

查看更多好文内容,新用户限时领现金
全部评论 (72)
夜落星晨
15
01-30 18:57

为啥我觉得华而不实,在炫半个技呢[喜极而泣]

usr001
5
02-02 12:55
haidiyus: 划vlan加tag标记,划分子网,好专业啊,楼主网工专业? 1

网工不玩这些,天天对着都烦了,家里是如何简单如何来,网工一定是越简单越好,不会复杂,复杂排错都排死你,更何况一堆应用天天不干事,就会推责任,是不是网络的问题啊,叫网工去看一下,GOUPI

huhamhire
2
01-31 18:54
usr001: 完全不能理解,你家用搞这复杂想干嘛 1

可以在家里玩 ceph ,玩 kubernetes 集群,搞微服务,搞大数据计算,造核弹[装大款] 生命不息,折腾不止[呲牙]

hzf88888
2
01-30 21:48
hzf88888: 一般家用还真用不到这么专业,很多人家里还是百兆。[狂汗][狂汗] 1
拾壹点伍拾伍: 你在说我么 不过最近上了企业塔式服务器 上了黑群晖 上了下载机 等等 瓶颈都在百兆路由上了 有什适合的矿渣么 2

我前不久装修了自己的房子,全千兆布网,群晖,ac+ap组网。。就目前来看,一般用户甚至轻微发烧千兆是够的。。万兆设备价格不是普通人可以接受的[高兴][高兴]仅个人观点

huhamhire
2
01-30 18:56
值友1284584465: 布线八类线 1

使用体验怎么样? 我本人的感觉是屏蔽线在连接非屏蔽交换机时候,或者没有接地的情况下,屏蔽层本身会起到天线接收额外干扰信号的作用[小眼睛]。 而且一般也没见到过有场景真的会用到 40G GG45 模块,可能是我孤陋寡闻了。[狂汗]

p1y1c1
1
02-01 13:56

开头一直想vlan隔离有毛用,看了一半拍着大腿觉得作者真是人才,安全性考虑很周到。

智商高达贰佰伍
1
01-31 11:52

这不是专业的网络工程师也够会折腾了。 上台用L系列志强CPU+一堆网卡+ESXI的小服务器,比你这种组网法要省电的多。NAS 可以用外置USB、ESATA或ISCSI磁盘柜挂到任意虚拟机里去。

旅人阿寅
1
01-31 10:03

说句真心话 这个已经脱离一般意义上家用的范畴了~参考玄学那边的情况,可以说是发烧友方案吧[吐舌][吐舌][吐舌]

imsky
1
01-30 19:28

对于万兆网络,普通 Cat6 网线在 50m 距离内也足够胜任,而且兼容新更好,RJ45 模块可以做到 10G/5G/2.5G/1G/100M/10M 的梯度自适应。—那你的意思是六类线也可以跑万兆?水晶头就用普通六类的可以吗?

麦西
1
01-30 18:28

请发个价格清单供参考。

打开App,查看更多好文和评论
值得买爆款低价
双11爆款商品抄底,APP内抢购!
值得买爆款低价

市场价
值得买双11价
最新其他网络设备优惠
HIKVISION 海康威视 H100 豪华系版 2盘位 NAS网络存储 (无盘标配)
HIKVISION 海康威视 H100 豪华系版 2盘位 NAS网络存储 (无盘标配)

近30日已发布新低 全新外观

509元包邮
拼多多 10-16
8 65%
百亿补贴:360 360V2 四天线智能 无线路由器
百亿补贴:360 360V2 四天线智能 无线路由器

比上次发布低15% 2.4GHz

66.8元包邮
拼多多 10-15
0 0
ASUS 华硕 RP-AC51 AC750M 双频无线扩展器
ASUS 华硕 RP-AC51 AC750M 双频无线扩展器

淘宝好评率96% 解决家中Wi-F盲区

139元包邮(需用券)
天猫精选 10-15
7 77%
猜你喜欢
查看更多
相关好价
相关商品
查看更多热门商品
社区主页 文章详情
107
792
72
你已经点过赞了
新浪微博 QQ空间 微信好友 豆瓣
当前为触屏版
热门搜索