我用3块企业级SSD,装了一台万兆全闪存NAS!
“相机笔记”是溢图科技旗下账号
早在去年6月,我在B站UP:无情开评大佬那里看到了单盘15.36TB的2.5英寸SSD,当时就萌生了用全SSD打造一台NAS的种子 —— 当时的我绝对想不到,14个月之后,我真的用企业级SSD组装了一台全闪存NAS!
* 真正的全闪存NAS都是用在高端行业的,价格往往是百万起步。ET这次DIY的确实是全SSD NAS,但借用“全闪存”这个说法也只是想小小的标题党一下,还请行业大佬不要见笑。
引子
大概是在8月中下旬,西数SN640 7.68TB降至约3000元。根据旗舰店的商品详情,这是一款支持NVMe 1.3的企业级SSD,采用96层3D TLC NAND闪存颗粒,拥有很高的读写性能与耐久度。接近8TB只要约3000元,比4根消费级2TB TLC SSD还要便宜!唯一阻碍大家购买的就是它采用并不多见的U.2接口。
即使如此,我的心还是躁动了起来,并且顺手安利了@肥威 老师。
方案
想要在成品NAS上使用U.2 SSD,目前最好的选择就是威联通TS-h973AX。它提供5个3.5英寸盘位,2个U.2 / SATA盘位和2个2.5英寸盘位。处理器是基于ZEN架构的AMD V1500B,可以使用QuTS Hero系统,标配了2个10GbE电口和2个2.5GbE网口。完全可以胜任小型视频团队的当前素材和长期存储需要,官方定价约7000元。
但我并不满足于此:一方面是两个U.2只能组RAID1,空间利用率只有50%,降低了容量/价格比。另一方面就是V1500B处理器的性能还不够好,不能支撑我在这个NAS上做更多额外操作。当然,威联通比TS-h973AX更高端的产品也有:比如提供12个U.2盘位的TS-h1290FX,或者4个3.5英寸盘和5个U.2盘位的TS-h987XU-RP —— 它们都采用了服务器级别处理器,不用问都知道价格一定很夸张。
所以,想要同时使用3块及以上U.2 SSD,我只能选择自己组装这条路了。
核心点是如何支持多块U.2 SSD。这里主要有3种方法:
- 自带U.2接口的服务器/工作站主板。优点是为长时间开机设计,稳定可靠,缺点是价格高。而且我也没接触过,不确定组装过程中会不会遇到额外问题。
- 普通主板+支持PCIe通道拆分的扩展卡。U.2 SSD也是走PCIe通道的,想要同时使用多块SSD,通常需要把主板上的x16插槽分成4个x4。绝大多数Intel主板都不支持这种拆分模式,所以需要一个带拆分芯片的扩展卡。不带阵列功能的扩展卡,价格倒是也不算离谱(4口580元,非全新),但使用时还需要搭配连接线,据说不是很好理线。
- 支持PCIe通道拆分的主板+普通扩展卡。少数主板是支持拆分功能的,这样就能搭配价格便宜的普通扩展卡来使用多块SSD。而且这种扩展卡支持直插,只要机箱放得下,就可以免去理线的问题。
巧合的是,ET在今年6月抢修电脑时购买的华硕TUF B450M-PRO S主板就支持PCIe拆分。这块主板买的时候不到500元,而普通扩展卡也就300元,成本完全可控!
* 构思阶段我也考虑了操作系统,但这部分留到后面再说。
组装
在确定方案之后,遇到了一个小问题是:我的主板提供1个PCIe x16、1个PCIe x4和1个PCIe x1。x16用于安装扩展卡和4块SSD,x4用于安装万兆网卡,那么就没有插槽安装显卡了 —— 虽然NAS并不需要图形性能,但没有显卡就无法开机。
解决方法是买一个X1接口显卡,或者把主板上的X1插槽切成开放式的(还是装X16显卡)。我选择了前者。一方面怕手残切坏了东西,另外也不想浪费一个正常显卡在上面。
* @金猪升级包 确认使用5600G时主板插槽也是满血X16,所以选择这款集成显卡的处理器也能解决问题。
虽然前期做了很多思考和验证,包括确认BIOS、说明以及在现有主机上安装NAS系统。但在执行时,我还是选择逐个操作:先买显卡,再买扩展卡,确认安装和供电等细节后,最后再买SSD。这样虽然拖慢了进度,但能做到随时止损 —— 收到硬盘的时候也是,先安装1块确认扩展卡能工作,再安装两块确认通道拆分正常,最后才把3块都插上 —— 虽然@北京硬盘之家 挺好说话的,但我也不想麻烦他再退货(毕竟上机上电的)。
* 原本想一口气买4块SN640的,付款时犹豫一下:3块7.68TB组RAID5或RAID Z,可用容量也有约14TB了,对于我们这个小工作室的素材来说足够了(而且后来开了压缩,利用率又提高了一级)。
其实是有计划换个机箱和电源,再好好拍个图的。但在调试完系统之后,感觉应该适可为止、能用即可。所以安装过程并没有用相机拍图,只是用手机做了简单记录。
配置清单
R7-3700X处理器(原有)
华硕TUF B450M主板(原有)
16GB DDR4内存*2 (原有)
PCIe x1亮机卡(120元)
PCIe x16转4个U.2扩展卡(299元)
三星240GB SSD做系统盘(原有)
AQC107万兆网卡(原有)
机箱、电源、CPU散热器(原有)
2个12cm静音风扇(约80元)
除硬盘以外配件的价值大概是3000元。选择时请注意下机箱长度:能插4个U.2的扩展卡,算上电源插头是314mm,机箱短了会放不进去,我这个TT S3就可丁可卯的。
系统
组装好硬件只是成功了一小半,必须安装系统后才能正常投入工作。我最初考虑的是TrueNAS (也就是FreeNAS的后续产品)。安装过程很顺利,也搞定了虚拟机,但很快发现这个系统太依赖命令行了:挂载EXFAT的USB移动硬盘需要命令行、将内部存储备份到外部硬盘需要命令行、一键清空回收站需要命令行、定时清空回收站也需要命令行……再加上页面中加着大量英文,我很快就学废弃坑了。
然后我尝试了Windows 10 Pro,也就是Win10专业版。选它的原因是比家用版多了软RAID功能(3盘以上的奇偶校验模式,类似RAID5但细节可能不太一样),然后也多了组策略等管理工具。这个图形界面很熟悉、很容易上手,但问题是Windows并不支持在SMB共享上的回收站功能 —— 在处理图片、视频素材时候还是挺容易误删除的,所以“回收站”是我的刚需。
* 顺便说一句:Windows的软RAID性能损失很大,我这个3块硬盘组阵列才这个表现。当然,应对万兆网络传输还是很富裕的。
之前很多人都觉的威联通的系统难用,不好上手。但经过这番折腾之后,我才发现品牌系统多成熟、多好用、多人性化。所以这篇文章只是ET自己的实践记录,并不是劝败贴,很有可能成为劝退贴。
到这里可能有人说为什么不试试“黑群晖”?我是觉得能用正版尽量用正版,买不起也选择开源软件(Win10专业版价格还能接受,而且不激活也能持续用)。所以在放弃了TrueNAS和Windows之后,我选择了另一个开源NAS系统:OpenMediaVault(OMV)。这一次,总算渐入佳境了!
OMV6
OMV是基于Debian Linux的开源NUS系统。硬件兼容性非常好,可以在包括树莓派在内的很多硬件上运行。我安装的是最新的OMV6。安装过程中有两个注意事项:① 选语言时要选英文,因为选中文会在命令行操作时遇到乱码,后面进入网页管理界面时候再改成中文就行了。②是软件更新源推荐选清华大学的源。
OMV系统本身功能比较简单,深度依赖OMV-Extras插件扩展包。网上有很多教程,针对老版本的上传时安装已经不能用了,而执行脚本的可能因为网络问题而无法正常运行 。我最后是找到了清华大学开源软件镜像站上OMV-Extra的地址,然后一个个敲进去执行安装的 —— 肯定不应该这么麻烦,但如果你遇到OMV-Extras无法安装的情况,相信我肯定可以解决的。
OMV-Extra不仅提供了Docker,还带来了非常多的额外插件,可以实现ZFS、虚拟机、USB备份、自动关机等。总之,我想要的功能基本都能得到满足。界面虽然不如品牌系统那么好操作,但至少“插件”就像应用中心,界面的中文化也非常高。
最后,我用3块SN640组成了一个RAID Z1存储池(类似RAID5)、使用LZ4压缩提高了空间利用率(对照片文件压缩比很可观)。SSD本身大大提高了系统响应和文件信息查看速度,实测也可以轻松跑满万兆带宽(这里还有ZFS系统利用内存做缓存的关系)。
OMV里关于回收站的设置也很简单,可以为每个文件夹设置自动清空时间也更灵活。
为了不浪费处理器性能,我在上面安装了一个WIN10虚拟机。在这个虚拟机上登录相机笔记、溢图科技在各个平台上的发布账号,工作室小伙伴再也不用换一个人操作就要找我问一遍验证码了。
小结
因为老的NAS还在服役,目前没有时间重新给网络区离线,这次就先不上环境图了。然后16GB内存在运行虚拟机(8GB)和大文件读写时候会爆掉(ZFS太吃内存了),等双十一调整工作室电脑后再把内存补到32GB。
这次主要还是想满足自己折腾一下的心里。你说用这个“全闪存NAS”能给我们工作室提升多少效率,只能说没有机械硬盘工作后确实安静了不少……
其实我很清楚,无论是批量RAW转换还是4K视频剪辑,1、2台电脑同时访问NAS,并不会给硬盘读写和网络带宽带来多大的压力 —— 或者说吃满硬盘和网络之前,你的电脑先卡死了(在Mac Studio上用达芬奇播放4条4K轨道,网络需求也在2.5GbE范围内)。我追求全SSD和万兆网络,只是想比大家跑得稍微快一点,这样才能在测试之后告诉大家什么是刚刚好的、更划算的。
最后,附上一些用到的工具软件名称。如果您看完之后,多少有一点点收获,还请不要吝啬您的点赞和转发。
Rufus:将ISO写入到U盘里,做成安装盘。
FileZilla:通过SFTP向NAS上传文件,比如虚拟机用的安装镜像。
tightvnc:获得虚拟机的运行界面。OMV和OMV-Extra都没有提供这个功能,而TrueNAS就自带了网页版VNC。
Todesk:比通过VNC更稳定、更快速、更好用(中文的)。但要先用tightvnc完成系统安装,才能装Todesk。
putty:SSH工具,没有这类工具,就只能给NAS接上键盘鼠标然后自己敲命令了……
Andy强仔
校验提示文案
江夏_wong
校验提示文案
值友1542384354
ssd做raid0,总共24g。
再加两块14t,做lvm。空闲时间ssd和机械盘之间做sync。释放ssd空间,释放空间的钱够买两14t了,同时做了双备份。比你ssd做zfs可靠性更高。
lvm丢一块盘只是丢一块盘的数据,就算坏了一块还有ssd在。如果两边都坏了,你就认了吧,人品不行-_-
校验提示文案
灵KOYB
校验提示文案
嘉然辣辣米
校验提示文案
猫皮
校验提示文案
it浪人
校验提示文案
木头怀
校验提示文案
SanNdMan
校验提示文案
奈依左特
校验提示文案
我等会
我仅仅是用m.2做了个优盘,却发现身边没有这么快的USB接口。
不知道楼主玩一把后,实用价值几何
校验提示文案
浙江大飞哥
校验提示文案
浙江大飞哥
校验提示文案
幽幽睡不醒
校验提示文案
你大爷跟这呢
校验提示文案
刀风之影
校验提示文案
大威快飞
校验提示文案
laotongss
校验提示文案
刃风剑雨
校验提示文案
wflms
校验提示文案
Scottish
校验提示文案
值友3179078077
校验提示文案
xsohydra2015
校验提示文案
米霸神之KING
校验提示文案
你大爷跟这呢
校验提示文案
大威快飞
校验提示文案
值友8230842268
校验提示文案
值友7478634915
校验提示文案
股票大涨
校验提示文案
普列姆昌德
校验提示文案
幽幽睡不醒
校验提示文案
coolomg
校验提示文案
最佳实践
校验提示文案
什么值得值
校验提示文案
bjcccc
校验提示文案
Jerry112
校验提示文案
UsherLiD
校验提示文案
[已注销]
校验提示文案
刀风之影
校验提示文案
值友1578236832
校验提示文案