来个简单的40G内网 硬件篇
折腾服务器快有大半年了,想写个总结,就有了该文章,由于时间和精力的问题,我把文章拆分多个部分来写,涉及到领域蛮广泛,网络拓扑,ESXI,储存方案,CDN加速,VSAN,炼丹巴拉巴拉巴拉一大堆的。这里只写硬件相关的。
头图不完整,这里再放一遍供大家欣赏
前提说明,本人是个学生党,口袋没多少钱,买不起全新的,只能捡垃圾度日子。都是学生党谁也别看不起谁,谷歌刚成立还是学生(博士)买了一堆二手设备来提供服务的,比我还凌乱,看的我强迫症都犯了。本片文章是给有兴趣的人看,也欢迎来讨论。
这个故事要从白嫖服务器说起。
某天我看朋友圈有人白送服务器,一看是dell的R720XD服务器,火速赶去上门提服务器了,顺路还收了一台R720服务器,也是上门自提的,这样我回来就有两台服务器了,嗯开局两台服务器。这里再次非常感谢送我服务器的人!
然后买了一个1.2米高的机柜,把服务器都塞进去。这是服务器集群的开始的样子,网络设备只有上面的五口千兆交换机。现在回过来看真够寒酸。
接下来就是看交换机了,万兆交换机肯定是基本操作。逛了淘宝半天相中一台LB6M 24口光口万兆交换机,900买的。这玩意噪音确实大,都比服务器还大,改风扇后好些了。后面TP出了一个万兆交换机,那个更合适。买早了。
万兆还是非常推荐光口的,首先万兆光口网卡就很便宜,我之前文章里有介绍过。感兴趣的人可以去看看。模块的啥十几块钱,光纤也贵不到哪去,我记得几块钱2m吧,而且不会有什么干扰,走线也比六类线甚至五类线方便。
这里再多嘴一下,ZDM可能大部分人觉得万兆用不上也没必要,千兆就够用,我这里表示理解并认同。但是对于我来说,用过了就回不去了,有多大提升呢?可能跟你们家电脑从机械盘到固态硬盘的变化一样大吧,真的回不去了。
后来折腾着两个服务器我发现一旦有重要点的玩意,特别是软路由。折腾过程中可能断电断网,肯定对其他人体验不友好。所以又掏腰包买了一台1U 服务器R420,里面配置好基本不怎么动,也就是我现在的软路由。这样我就可以尽情折腾另外两台服务器了。这下机柜里有三台服务器了。
后来还给机柜旁边打个孔上显示器。可惜后来摔坏了。
后来我路过小伙伴公司的机房,发现他们服务器也是dell的,型号是R640。我看那个服务器的前面板很好看,大家可以看看图。
总之我个人感觉非常酷炫,所以我跟公司的IT小哥聊了聊 让他们把前面板借我玩玩一段时间。拿回去我发现卡扣都不一样,不过这问题难不倒我这理工生,掏出皮尺就是一顿量(不好意思中间乱入吃的了)
量好了就是梭哈,建模,3D打印。成功兼容
甚至还能上锁,防止熊孩子乱动。
剩下来就非常简单了,淘宝上买前面板就行,不贵,四十块钱一个。然后发现这个标志能拆,顺手做了个爱国的标志,问题是找不到大一点的爱国标志,有点郁闷。
某天在小黄鱼里逛着,注意到Mellanox有个56G/40G 交换机 型号是SX6012,卖500元,根据卖家描述是pcie启动不了,我看了下报错感觉有戏。故买下来,准备上串口刷固件,结果被打脸了,真的启动不了。拆开仔细看了下,看不出啥问题,除了少了一个电源。(我到现在都疑惑为啥少了一个电源,虽然不影响使用,问了卖家也不回我)
所以我把交换机寄给大佬了,让他帮我诊断诊断,最后发现上面一个fpga芯片坏了,换一个就好。灵车搏一搏变跑车。HP的544+flr网卡,张大妈应该有人介绍过了,这里大概说下,40G网卡卖80元,还是双口的,核心是CX3PRO,香炸裂。据说可以开56G,得要Mellanox牌子的QSFP的模块或者DAC线,看价格直接打扰,40G 又不是不能用。看过我之前的文章就知道在这里我就要发挥传统艺能了。
设计没考虑到插槽的问题,旁边的NO.1前面的China字样被挡住了,我还是要再说一遍中国牛逼!这里的挡板用的3D打印的,用来测试的,后面给换成钣金件了。更魔幻的是在Dell 的bios里能看到HP这个网卡,进去还能看到HPE特有的功能。
期间发现千兆口有点不够用,LB6M那个上面才6口千兆电口,我小房间内不可能每个设备都能插上万兆网卡,本来从某某角落捡来一个带有光口的千兆交换机,光口是SFP,寻思着这玩意应该能向下兼容,万兆变千兆。结果插上去我就傻眼了,根本就不认。后来一查才发现LB6M这个交换机不支持光口千兆。所以看中了一台中兴的交换机,型号为5228F,带有四口万兆光口,24口电口的交换机,五百块钱买的,发现这交换机真香,一般家庭用这个绝对够用!除了开机巨慢,没其他任何缺点了。PS:有人说某些老机型批次有点问题,我查了下我这是新机型的批次。估计是运气好吧
后来嘛,手又痒了又买个服务器,仍旧是dell 的R720XD,避免不了又一次的折腾。。。顺便给服务器晒晒太阳。
最近要做炼丹相关的东西,小黄鱼购入二手特斯拉K80计算卡,24GB超大显存。被我塞进其中一台服务器了。后面有空会介绍。
顺便说一下HP这个网卡其实还有些别的超便宜的网卡,比如下面的20块钱4口千兆网卡,型号331flr,中间下面的80元双口电口万兆网卡561flr,好像是X540的方案。转接板和挡板基本完美支持了。这里只做推荐,我又不是卖货的。感兴趣自行搜索,关键词已经给你了。
通过上面介绍大家就可以很清楚我服务器里面有什么东西了。基本是一堆硬盘,一堆网卡,和一个计算卡。
可能有人要问了硬盘用的啥,这还不简单吗,直接淘宝搜3T SAS 价格倒序买最便宜的。差不多是150块钱 3T,闲鱼上也有90元2T的硬盘,听说是拆修盘。我入了两块做PT盘感觉不错。这里强烈建议大家一定要多做备份!硬件炸了换一个就完了,数据丢了就真没了。我做了四个备份。二手捡来的多少有点不稳定,但是便宜!要稳定的又要便宜又要性能好,估计梦里有。如果真的有的话一定要叫上我!
到了这里可能有人疑惑了,问我这个应该用不到40G内网吧。我正面回复一下,是的,确实用不上。在体验过千兆升级万兆后的快感,本以为从万兆升级到40G也能很爽,折腾下来发现很多机器跑不动,得要Linux才能飙到40G,win基本别想了,确实没啥必要(虽然40G口可以一分四 万兆接口能直接代替原有万兆交换机,但是最近太忙了没怎么动网络结构了)。但是你需要注意的是我这是500收到的40G交换机,总计花费不到一千,搭建成本比万兆还低。这是另外一回事了,你是抄不了我的作业。而且我也不会推荐你花大价钱上40G内网。其实万兆就非常够用了,我也用的很开心。40G的话估计能对外面吹逼说俺服务器集群内网速度比天河一号还快? PS:天河一号使用QDR 32Gbps互联。
其实万兆也有跑不动的情况,如下图,下载赛博朋克2077实测3700X这个U速度只能230MB/s,下载别的游戏 古墓丽影可以跑到500MB/s,盲猜每个游戏的压缩机制不一样,需要更换CPU来提升网速(没钱)
下一篇会讲到其他部分,NAS的什么只是冰山一角而已。服务器集群能做的事情远比你想象还多,比如当电暖气,冬天必备神器。先放个预告
挑几个问题回答 Q&A
Q:有什么用?
学习用
Q:功耗多大?噪音如何?
没实际测,看IDRAC里面是200W左右,算下来整个机柜有六台电脑加上一堆交换机大概1KW左右吧了。还不如我家一台小米电暖气片,那玩意2200W大功率。噪音方面文章也提到了,部分交换机需要改下风扇。服务器的啥直接用IPMI控制风扇转速,机柜背后噪音75dB,但是放的距离够远,到我这噪音也就55dB。
Q:收二手的需要注意些什么?稳定性怎么样?
建议捡垃圾之前先了解下硬件,多逛官网,了解一下型号代码是干啥啥用的。有一定的了解再下手就行。至于稳定性,我个人觉得是玄学问题。全新的好处就是有售后,能很快给你解决问题。二手的要靠自己去摸索和排查问题了。再次说明,想要图省事,只能多花钱。
Q:小白看不懂怎么办
这次只是分享一下经验,后面我有空会出详细点的教程。让更多人感受到科技的美好(跟我一起折腾)。
幽山17
校验提示文案
值友9880760798
校验提示文案
控制不住的机器
校验提示文案
Rosizki
校验提示文案
疾风剑影
感觉全篇都在买买买,抱大腿,没啥实际意义。
搞研究还不重视数据安全,用二手硬盘。
校验提示文案
刘昴熊
校验提示文案
玉面小白狼
校验提示文案
肥猪计划
校验提示文案
hrbagang
校验提示文案
值友8391110786
校验提示文案
胖乎乎和圆滚滚
校验提示文案
快马
校验提示文案
ESCCD
校验提示文案
超威蓝猫Oo
校验提示文案
逝去岁月
校验提示文案
琴焚音落
校验提示文案
仙_人_掌
校验提示文案
值友3429899920
校验提示文案
库克从多多进货
校验提示文案
独孤HRU侠
校验提示文案
WASM
校验提示文案
奶奶个熊熊
校验提示文案
值友4114490280
校验提示文案
SasakiKotoko
校验提示文案
后知后觉2019
校验提示文案
项羽的爷爷
校验提示文案
提莫的莫
校验提示文案
值友9922666072
校验提示文案
值友2547441645
校验提示文案
值友6934403157
校验提示文案
Rosizki
校验提示文案
Rosizki
校验提示文案
Rosizki
校验提示文案
asidea
校验提示文案
Vocalist
校验提示文案
Kingzeus
校验提示文案
gujiangjiang
校验提示文案
[已注销]
校验提示文案
seaflanker
校验提示文案
mysm
校验提示文案