NAS 篇一：把性价比拉满是什么体验？百T 40G DIY NAS大计划——软硬件选择篇(1) 内含NAS系统对比

前言

其实，这次的nas已经是我的第5台NAS了。 

早前，我玩过HP SFF小机箱，使用的好像是G4560，放弃原因是盘位太少。已经弃用 

后来，组了个i3 8100+16G+3*14T Element拆机盘+3*4TWD RED。这套机子被我折腾过All in One，当然最后All in Boom了。作为一台NAS，最大的问题是不能直装DS918+引导，重启后无法找到IP。而且最让我顾忌的一点是，这傻逼玩意已经让我的2块14TElements拆机盘，1块WD RED坏掉了。焯！全新的硬盘就这么没了，我也懒得和城市慢车扯皮。就这样了，不敢放了。大约可能是没有正规硬盘固定位的原因吧，我之前还一直折腾，来回断电，寄。最傻逼的是这玩意不认我买的LSI 2008。 

再往后，我又折腾了猫盘，树莓派等等，但是实在是太卡了，当玩具玩的。

这次，我决定一雪前耻，组装一台5年内都够用、好用的NAS。

原机柜

硬件选择

历史平台

第一版(2021暑假)

其实这个计划我从去年暑假就已经开始了。这是当时的配置单。

当初，Chia已经开挖，硬盘疯涨。但是3T SAS没有涨价。故迫不得已选择了LSI 2008+多盘位+Expander的方案压缩成本。这么快的硬盘速度，必上10GbE啊。这就要求CPU的通道数量要多。这不巧了，我之前闲的没事捡了个RH1288hv2，支持双路X79。这玩意还支持DDR3，可以进一步压缩成本，这个好。下面是我总结的优缺点，你要是不怕缺点可以上，性价比很高。现在也可以改用大容量硬盘+少盘位，但为了还原，我就不改了。 

优点：最大化利用现有硬件；硬盘便宜换着不心疼；硬盘数量多冗余量大。服务器硬件非常稳定 

缺点：1U太吵了，缺少拓展性（华为的模组化网卡无法达到40GbE*2，最大为10GbE*2）；32个硬盘+双路2667v2+C602芯片组+GTX1050ti完全是电老虎。初步估计idle下电耗能跑到200W

第二版(2022年暑假前期)

这是配置单。

这时候，硬盘价格已经降低。全新的100+/T的变得常见，二手的(Chia 拆机)也就50+/T。

其实，现在6T的SAS硬盘已经到了200R不包邮。但是希捷的盘最近不稳，零通电的就是清零，还有贴假标的（用低端盘体冒充主流盘），尤其是ST6000NM0034这个型号，重灾区。有的高温掉盘，有的坏道，有的只认4G。丢数据不值得。玩这种盘最好用Raid10，最次也要RAID6(Raid-Z2)，否则极其容易丢数据。单盘还是别冒险了，容易寄。

优点：相对于上一版的改进主要是储存密度增加，升级了解码用独显，使用了开放式机箱，加强了散热，减小了噪音。 

缺点：尽管储存密度增加，但双路CPU依旧耗电。X9DRi-LN4F+的机箱、散热非常难找。且这个主板原生不支持NVMe启用，需要使用MMTool进行hack。总感觉不是很稳。

新平台(现在)

先上配置单。稍后进行配置逻辑详解。

CPU详解

CPU我选择的是Xeon e5 2696 v3 。它有18核36线程。除此之外，它DDR3/DDR4通吃。且它的单核睿频最大可达3.8Ghz，在LGA 2011-3系列中傲视群雄，甚至超越了它的公开版本E5 2699v3，价格却一样。它新增了FMA3指令集的支持。根据维基百科，FMA指令集允许创建新的指令并有效率地执行各种复杂的运算，可结合乘法与加法运算（即进行积和熔加运算），通过单一指令执行多次重复计算，从而简化程序，从而使系统能快速执行绘图、渲染、照片着色、立体音效，及复杂向量运算等计算量大的工作。 

它的唯一缺点是145W的TDP严重限制发挥，但这对于7*24h开机的服务器来说却是优势。更何况，你可以使用S3turbotool绕过TDP限制。但是寨板羸弱的6相供电......我惜命，我不超了。

BTW，这是2699v3的OEM版本，无法再Intel Ark中找到。

主板选择

别骂了别骂了。我也想上supermicro的带ipmi的服务器主板，但是我没找到支持DDR3的。又因为ZFS需要大量内存，DDR4太贵了，提升mem速度对ZFS的提升不大，只能上DDR3。这个主板支持8条DDR3 RECC内存，同时有两个PCIe x16 一个x4(Physically in x16 slot) 两个x1 两个NVMe。

众所周知，服务器的CPU有40条PCIe通道，PCH有8条。故据推测，通道分配如下：

需要注意的是，PCH与CPU互联仅为PCIe 2.0x4，即2GB/s(16Gb/s)，所以不建议在pch上插太多设备。你可以看到，我的配置已经把PCIe通道吃满了，只剩了一个PCH出来的PCIe x1。我甚至用NVMe转了PCIe，笑死。 

同时，华南金牌在2021夏末给所有的主板缩水了。所以我建议购买24pin处有G377Q ver 0.1标记的主板。这样才可以稳定跑到145w的tdp。

硬盘选择

前文说到，我硬盘基本上坏了一半。其实这是硬盘素质差叠加我经常通断电的后果。我们假设完全抛弃人为因素，那么故障率将会呈现“浴缸曲线”：

Bathtub Curve

所以，不论是因为省钱因素还是省事，你都应该购买二手硬盘，起码跑个3k Hours，把第一段跑过去。需要注意的是，一定要在淘宝等有一定售后保障的店铺购买。虽然店保是灵车，但闲鱼直接没有。更何况，闲鱼的价格真不一定比淘宝便宜。一堆传家宝。当然，你有钱也可以京东，通过不停更换硬盘来绕过第一段时间。硬盘多的话，会在成型期浪费太多的重建时间，不如让别人帮你做了 。

Toshiba MG07/MG08硬盘的噪音，发热都比WD、Seagate低很多，且每T价格仅仅54R，当值无愧的终极选择。  

网卡选择

互联网-2.5G网卡

这里选择的是RTL8125BG，原因是intel的i225有丢包问题与兼容问题。你可以看现在的主板自带的2.5G网卡，基本都来自RTL。不论何种原因，均不推荐i225做任何用途。 

电脑直连-40G网卡

这里选用的是HPE 544+flr+KCORES 转接板的组合。至于为什么不选用更高的网卡，一是Truenas Scale目前不支持RDMA。要想支持，就要hack系统，装KSMBD，这是不推荐的。在目前没有RDMA的情况下，SMB最大速度是20Gbps左右，40GbE完全可以cover。25Gbps因为企业端很少采用，价格比40Gbps还贵，ybb。

我们来算一笔账。20Gbps=2.5GB/s。LSI 2308跑在PCIe3.0 x4下的最大带宽是4GB/s。12块Toshiba MG08的满速是2.7GB/s。4通道SFF8087 SAS2.0 的带宽是3GB/s，怎么这么巧呢。可见，即使我用的是NVMe转PCIe这种灵车，也不会影响磁盘性能。

544+FLR采用的是来在Mellanox的Connect-X 3 Pro。因此，之后Truenas Scale更新到5.15 Kernel支持KSMBD后，也可以享受到RDMA带来的红利。

需要注意的是，这个卡你拿到之后默认处于Infiniband模式。请参考网上教程更改为Ethernet模式。 

BTW，这个网卡其实是支持56Gbps的速度的，但是好像只能用Mellanox模块/DAC线。太高端了，买不起，而且40Gbps完全够用。

软件选择

2022年，NAS系统的选择很多。其实选底层系统比选硬件纠结多了，因为软件在一定程度上会限制你的硬件选择方向。我们一个一个评价

黑群晖/Xpenology

说到NAS，绕不开的肯定就是DSM了。

对于新手，DSM永远是最推荐的系统。它不需要专业知识就能开始用，你的硬件也不可能超过群晖的限制。

对于老手，DSM最不推荐。我不知道DSM基于什么jb系统，但就那个老旧的Kernel，封闭的系统，我是不可能用的。更何况，它没有ZFS。而且，我这NAS上了Nvidia独显，DSM根本就不支持（没驱动）。如果你坚持要装，那么以下是DSM 7.x硬件限制。教程可以在各大论坛找到。

可见，如果你要Intel iGPU硬解，你的cpu最好不要超过8线程。

UNRAID

UNRAID是少有的对新手、老手都比较友好的系统。 

它有最完善的VM/Docker/APP支持，活跃的社区。它拥有灵活的拓展性（新增硬盘直接插），更加适合没法一次性购置完全硬盘的家庭用户。 

但对我来说，基于老旧的slackware（这个傻逼包管理器甚至不能自己解决Dependence，梦回ruby是吧），付费，不支持ZFS都是劝退的点。况且我也不知道这个玩意的驱动怎么解决。后期折腾的话Debian还可以自己装，Slackware......况且，这个玩意的写入速度最大也只是单盘速度，完全没法加速。也许这就是拓展性的代价吧。

Unraid的付费选项

如果你坚持使用，那么Unraid对中国用户是有5折优惠的。请自行搜索。 

 BTW，有大佬已经把ZFS做进Unraid。但Docker/VM什么的目录都要自己改，太灵车了。我不敢上。这个系统也是有开心版的，但我不推荐。

OpenMediaVault/OMV

这个系统完全免费开源，基于Debian，并且可以直接装在Debian上面，无需middleware，只要加个Source就行。真纯粹。加了Extras还支持ZFS w/WEBUI。但缺点也是纯粹。实际上，它就是一个打包了一堆services和webui的Debian。这就决定了，它的功能很少，或者说需要折腾。对新、老手完全不友好，只推荐给喜欢原生Debian、喜欢折腾的人。总之不推荐。

Proxmox VE/PVE

这也能算NAS？不推荐。仅推荐给虚拟机重度用户，虚拟出来DSM或者unraid或者truenas什么的。作为NAS系统的话，对于人类来说，还是太超前了。

TrueNAS

嘿嘿，好戏自然要留到最后。TrueNAS系经过与FreeNAS的合并，如今分为三支。

TrueNAS Core/Enterprise

TrueNAS Core/Enterprise基于FreeBSD。经过FreeNAS的多年发展，已变得非常稳定高效。但FreeBSD的市占率惨不忍睹，导致基本没有第三方驱动。且FreeBSD下的容器是Jail，教程极少。虚拟机不能硬件直通。如果你想使用docker，只能虚拟机里跑Docker。tm...... 

Enterprise是iXSystem搭配硬件销售的，价格我高攀不起，不做推荐。本质上就是Core加了个High Availability

TrueNAS Scale

它来了，它来了，它带着Debian走来了。  

TrueNAS Scale拥有TrueNAS Core的所有优势。包括ZFS等等，在此基础上增加了原生Docker支持，虚拟机也是基于QEMU Kvm，支持功能与性能与PVE相同。 现在，Scale也正式出了Release，稳定性有保障。且几乎支持所有支持Debian的硬件。比方说Infiniband，它不受官方支持，但你可以自己折腾。尽管我不推荐，但起码它给了你一条路。  

缺点是上手成本高（仍比PVE/OMV低）；硬件利用效率比Core略低（等待优化）；Docker是K3S(K8S简化版)，默认禁用iptables，你需要Portainer或者Docker in Docker。在此推荐Sagit大佬的Blog，你可以学到很多。

装机文章随机更新 。  

作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～