打造半万价位（不含硬盘）的地表最强 NAS

追加修改(2021-05-17 19:11:35):
评论区问题： PS: 由于某种原因不方便直接回复各位，所以作为追加内容更新。

评论区问题主要可以归纳为以下几种。

1、吐槽为何不上 IDC，还有提到后备电源、柴发的。 柴发并不贵，只是柴油不好买，楼主曾经租用过民房养爬，买过一台 YAMAHA 的汽油发电机做备用加热电源。 至于家里要不要上这种备用电源，其实要开你给自己定义的 SLA。对我来说全年 SLA 99% 足够了，这样的话，我只需要一个 UPS。

2、功耗 有位朋友说，他的6盘位 NAS 只需要 30W，这是我不敢苟同的。一块 8TiB 的 SMR 硬盘大约就需要 5W，7.2k 的盘普遍在 8W 以上，所以6盘位 30W，这几乎不太可能。而我上的是8块企业级 7.2k 盘，单单硬盘功耗就在 90W 左右了，更何况万兆光纤网卡也是耗电大户。诚然有些 NAS 确实很省电，但是作比较之前，至少应该是容量、性能类似的型号。

3、噪音 很多朋友认为这东西和涡喷一样，其实不是。这个噪音并不比一个3风扇的 2070/3070 玩游戏时候更大。ipmi 可以直接控制风扇转速： a、首先开启手动控制模式 # ipmitool raw 0x30 0x30 0x01 0x00 b、调整转速，最后那个 0x0a（10%）就是转速的百分比 # ipmitool raw 0x30 0x30 0x02 0xff 0x0a 空气温度 28C 左右，10% 转速，硬盘温度大约 40-42C。 我用的是 TureNAS(FreeNAS)，除了 SMB 对单核需求较高，一般情况下对 CPU 没什么算力需求，可以通过 powerd -M 1200 将 CPU 持续保持在 1.2GHz 频率运转，nfs 和 iSCSI 足够用了，10% 风扇时只有 38-40C。

4、电费 说电费的各位真的是认真的吗？我坐标帝都，阶梯电价大约是一阶0.48，二阶0.52。我家里还有 UPS 和另一台 r730xd（20个2.5 SATA SSD + 4个U.2傲腾），交换机是 C3750X扩展C3KX-NM-10G，还有一些大功率家电，全年电费也没有上过三阶。安这台主机 150W 功率计算： 0.15kW * 24h * 365d * 0.52YUAN = 700元 一年 700元的电费，各位，再剩能省出多少钱？况且，钱不是省出来的，是挣出来的。

5、用途 很多留言质疑这东西没用。 首先，如果你就没有几十 TiB 的存储需求的话，无论是这个，还是6盘位8盘位12盘位的群晖、QNAP 你拿来也都没用。 其次，总会有一些人和我一样，有这样的存储需求不是吗？所以说有用没用实在是没有什么意义的回复。

6、题外话 有几位朋友的回复中提到诸如：ZFS 比不上硬件 RAID，企业里用到的光纤存储，冗余应当做 RAID1 等等。 在这里统一回答一下我对企业级存储现状的理解： 首先，传统的 LSI 硬 RAID 的优势在一点点被蚕食，小企业上公有云，大企业上 CEPH，巨大企业自己搞自研的 SDS。至于 ZFS vs RAID 这话题，在国外论坛已经打了十几年了，哪个好那个坏，我自认为没资格评论。 其次，企业里用到 FC 存储的也是日渐稀少，EMC 的产品好不好？好，贵不贵？太贵了，随着 CEPH/GlusterFS 等 SDS 的成熟，EMC 的市场也在被蚕食。ESXi 也一样，小规模可以被 PVE 代替，大规模的都上 Openstack 了。 最后，RAID1 或者 10 对比 RAID6 的优势不是安全性（或者应该说是可靠性），而是性能。尤其对于 ZFS 而言，RAID-Z2 的 IOPS = 单盘 IOPS。

自我介绍：某不可描述圈的边缘小站 OP 一枚，10 年家用 NAS 经验。

前言

从 2010 年入坑 NAS 以来，经历了品牌 NAS 的高价格低性能，DIY NAS 的低颜值、不稳定，最终决定彻底的把家里的 NAS 一步到位升级为 Dell PowerEDGE R720xd + TrueNAS。

TL;DR:

价格：5000元（其实 2600 就够了，价格不包含硬盘）

功耗：低负载 140w，高负载 200w

噪音：约 50dB（不可放在卧室）

存储配置：8 x 8TB 7200rpm 企业级硬盘 + 2 x 800GB SATA SSD，有效存储空间 40TiB

性能：连续读：5115 MiB/s，连续写：2797 MiB/s，4K 连续读：718 MiB/s，4K 连续写：313 MiB/s

外观展示

正面 12 个 3.5 寸热插拔盘位

背面 2 个 2.5 寸热插拔盘位，冗余双 495W 白金标热插拔电源，双10G+双1Gb网卡

配置与价格

机箱

IDC 机房下架的二手 Dell PowerEDGE R720xd 12 x 3.5硬盘 准系统 - 980元（运费75）
（自带）iDRAC Enterprise 授权，H310 mini 阵列卡，4x1Gb 网卡，1个 495W 白金电源，2个 CPU 散热器 - 0元
更换 2x1Gb + 2x10Gb 网卡 - 360元
额外 11个 Dell 3.5 硬盘架（12元/个） - 132元
（可以选购）第二个 495w 白金电源 - 50元
（可以选购）后部 2 x 2.5 硬盘扩展卡，包含两个 2.5 硬盘架 - 224元
（可以选购）Dell 面板保护罩 - 20元

Dell PowerEDGE R720xd 内部

CPU

E5-2630Lv2 6C12T - 104元（包邮）

CPU 基本上买一个可以兼容的便宜的低功耗的型号就可以了，我在淘宝花了 5 分钟时间研究了一下，这个型号性价比比较高。

E5-2630Lv2 6C12T

内存

REG DDR3 64G - 600元
（可以选购）额外增配1 REG DDR3 64G - 600元
（可以选购）额外增配2 REG DDR3 128G - 1200元
内存频率无所谓，1066/1333/1666 找便宜的买就行

其实对于大多数用户来说 32-64G 就可以达到足够的性能需求了。我这里直接上了 256G。

三星 REG DDR 3 RDIMM 32G，8条

CPU、内存、散热器安装完毕

系统盘

16G U盘 - 40块钱

网卡

用于另一端台式机的 Intel X520 单口/双口 10G 网卡 - 200元/500元

注意：此网卡必须插在 PCI-E x8 的插槽中，x4 的不行。我选择它是因为他便宜，并且我也有空闲的 x8 插槽。如果没有 x8 了，可以考虑用其他型号的网卡替代。

Intel X520 双口万兆网卡，光纤模块，多模光纤

线缆

SFP+ 直连线 - 50元 或者 2 x SFP+ 模块 + 多模 OM3 光纤 - 约200元

总计价格

约 2600元 - 5100元。基础配置和满配主要相差在内存上，2600 元的配置几乎有 5000 元配置的 80% 性能。

可额外再增配两块 Mellanox ConnectX-3 Infiniband 56G 网卡 + 电缆 - 大约 1000-1200元

磁盘

磁盘价格并未计入 NAS 价格，这部分视不同需求和预算因人而异。以下是我的配置。

HGST HC320 8TB 7200rpm 企业级硬盘

Intel SSD DC S3510 800GB 固态硬盘

性能、功耗和噪音测试

性能

完整的测试应当使用内存容量 x2 进行，但是实在太慢了（要超过一天时间），本测试只使用 16GiB 数据进行，并且只测试了顺序和随机读写，结果如下。

测试参数：iozone -Raz -g 16G -i 0 -i 1 -i 2 -f /mnt/pool0/test/testfile -b /root/iozone.xls

存储池配置：8 x 8TB 7200rpm @ RAID-Z2 + 2 x 800GB SSD L2ARC

8 x 8TB 7200rpm @ RAID-Z2 + 2 x 800GB SSD L2ARC

- 顺序写入

Max 2797MiB/s，Min 91MiB/s，Avg 1438MiB/s

- 顺序再次写入

Max 3341MiB/s，Min 222MiB/s，Avg 1601MiB/s

- 顺序读取

Max 5115MiB/s，Min 432MiB/s，Avg 2468MiB/s

- 顺序再次读取

Max 5256MiB/s，Min 418MiB/s，Avg 2634MiB/s

- 随机读取

Max 5566MiB/s，Min 125MiB/s，Avg 2712MiB/s

- 随机写入

Max 4601MiB/s，Min 21MiB/s，Avg 1731MiB/s

功耗

根据 iDRAC 中的功耗显示，低负载时（idle）大约 140w，高负载时（万兆网卡持续读写）大约 200w。

BIOS 中有两个设置项需要修改：
1. iDRAC Settings - Thermal 设置为：Minimum power (Performance per watt optimized)
2. System BIOS 设置为：Performance Pre Watt (OS)

iDRAC 功耗显示，idle 状态大约 140w

NAS 的功耗主要还是集中在硬盘上，一般来说 5400/5900 rpm 的硬盘大约 5-8w，7200 rpm 的硬盘大约 7-12w 功耗。使用标准服务器作为 NAS 在功耗上肯定和 ARM/低端x86 架构的设备比不了，但是硬盘安装的越多，差异就越小。
前面的价格清单中，价值 50 元的二手电源实际上是具有白金标*级能耗水平的电源，功耗效率会比 DIY 机型更有优势。

部分零部件功耗估算值：
7200rpm 机械盘大约 7-12w
5400rpm 机械盘大约 5-8w
REG DDR 3 1333 RDIMM 32GiB 内存大约 8-12w
REG DDR 3 1333 RDIMM 16GiB 内存大约 5-6w
2 x 1Gb + 2 x 10Gb 网卡大约 20-30w 功耗（所有端口满负载）
4 x 1Gb 网卡大约 15w 功耗（所有端口满负载）

噪音

我没有可靠的设备进行噪音测试，只能使用手机和主观感受做一下描述。

首先，启动时风扇会 100% 转速自检，大约持续5秒，噪音大约等于飞机从头顶飞过。
之后，风扇回落到 10-15% 转速，iDRAC 显示风扇大约在 4000rpm 左右，噪音变得可以接受，大约 50dB，差不多和具有 GTX1070/RTX2070 以上级别显卡在轻度负载时的噪音相同。
所以，这台机器是不能放在卧室使用的。我放到了阳台，一窗之隔的卧室几乎无法听见噪音。

R720xd 具有 6 个模块化的风扇，系统会自动根据硬件配置情况调节每一个风扇的转速。比如，如果只安装 1 个 CPU，并且只在左侧安装 1-6 块硬盘，那么右侧的 3 个风扇多数时间只会运转在大约 3-5% 的转速上，而左侧会在 10-15%。

如果仍然感觉噪音太大，还可以通过更改 BIOS 设置，降低风扇基础转速系数达到静音节能的目的。

iDRAC

大多数朋友可能平时并没有接触过 IPMI/BMC 这一类专业服务器才有的东西。

iDRAC 就是 Dell 给自家服务器研发的一套 BMC 系统，可以说是一台微星小电脑，它包括自己的 CPU/内存/闪存/网卡。他在服务器电源关闭时仍然可以正常工作，模拟键盘/鼠标/显示器/光驱远程控制服务器，请注意它不是远程桌面那种基于操作系统的软件协议的，而是直接接管 USB/VGA/CDROM。

iDRAC 分为两个版本：Express 和 Enterprise，前者免费，后者需要单独购买 License。iDRAC 的主要功能都需要 Enterprise 版本才能使用。本文中提及的二手服务器价格包含了 Enterprise 授权（上家遗留的）。

更具体的 iDRAC 功能请自行百度，在这里简述一下我认为比较有用功能：

• 基于 HTML5 的远程控制，全周期远程管理服务器。包括开关电源、进入 BIOS 更改配置、安装操作系统等。
  

• 覆盖全部硬件的健康监测系统，并记录日志。详细对应到某个具体的内存插槽位置、磁盘位置、电源模块等。

• 对于硬件的报警（比如温度、电缆故障）可以通过 Email/SNMP 等方式主动发送报警信息。

• 实时的电压、电流、功率和温度监测日志，最长可以保存一周的曲线图。
  

• 通过 Web 界面更改部分 BIOS、网卡、阵列卡设置，更新 iDRAC/BIOS 固件。

TrueNAS(FreeNAS)

ZFS 作为免费的、成熟的文件系统，可以说是最强的，没有之一。作为代价，需要足够强大的硬件来支撑。更具体的 ZFS 的先进性请自行百度。

网卡

ZFS 所能提供的读写速度大幅超越千兆口的最大带宽，上万兆是必须的。

内存

ZFS 是一套重度依赖内存容量的文件系统，建议内存容量为 0.5GB内存/TB硬盘容量。

L2ARC

TL;DR: 在预算还有剩余的前提下，应当优先购买内存而不是考虑 SSD 缓存。

L2ARC (Level 2 Adjustable Replacement Cache) 是 ZFS 针对读取的一种缓存机制，敲黑板划重点：针对读取。所以开启 L2ARC 是不会提升写入性能的。与 L2ARC 对应的是 ARC(Level 1)，也就是内存。每个 L2ARC 块（通常为4KiB）需要占用 88 字节的 ARC 内存用于存放记录，大约 480GiB L2ARC 需要消耗 10GiB ARC 内存。所以当内存不足时，增加 SSD L2ARC 可能会导致性能不升反降。

关于SLOG/ZIL

TL;DR: 不要上 SLOG 设备

SLOG 是 ZIL 中的一部分，用于确认 sync write（同步写入）操作。请注意，大多数场景下写入都是 async write（异步写入），此时 SLOG 设备并不会提升你的写入速度。SLOG 所担负的功能决定了 sync write 时的性能和数据完整性，设备选择方面需要符合以下几点：

1. 足够高的 IOPS 和足够低的通讯延迟：如果 SLOG 的 IOPS 还没有 pool 里的硬盘快（比如用一个 SATA SSD 做 12 x SSD 的 SLOG），那要他何用？

2. 完整的企业级掉电保护（PLP）：SLOG 数据丢失可能会导致你的 pool 数据发生异常，这一点非常重要。

3. 容量：SLOG 最多只需要保存 5s 左右的记录，所以容量并不需要太大，10GiB 容量足以满足大多数场景的需求。

4. 寿命：SLOG 的重要性决定了他必须非常的可靠，建议使用企业级 SSD 颗粒或者傲腾颗粒。

推荐的 SLOG 设备：Intel Optane P4800X（不用搜了，天价产品）

有些朋友可能会想到使用*级的消费级 NVME SSD 来充当 SLOG，例如 16G/32G 傲腾，SN750，三星 980 Pro 等。这些 SSD 是没有完整的掉电保护功能的，在异常发生时他们无法保障数据安全。如果你决定使用他们的理由是只要性能不要安全，那么可以通过设置 dataset 的 sync=disabled 参数将所有的 sync write 转化为 async write，可以理解为此时内存充当了 SLOG 设备，同时失去了数据安全的保障，但是性能比任何 SSD SLOG 都要快。

最后，再次强调 SLOG 只针对 sync write 有效，而用到 sync write 的场景是非常少见的（esxi 访问 datastore 是纯 sync write，无论通过 iSCSI 还是 NFS 协议）。

总结

更多软件层面的玩法，以后有时间了我会在继续写。在这里只是抛砖引玉，给各位盘爸爸一个新的思路，不要局限于渣渣辉、渣渣通、某些动辄上千元的 NAS 专用（塑料）机箱这类高价低质的产品上。