AIO从入门到如土 篇七:2023AIO服务器主板选购篇(二):八盘M.2不是梦——如何极致利用PCIe通道
提示:本篇文章5825字符,阅读大约需要7分钟。
关注专栏不迷路哦
写在前面
这一期和接下来的一期都属于主板选购理论篇,下下期会详细写主板选购推荐。但是大家既然要折腾并进行AIO服务器的DIY,光靠我推荐的CPU和主板型号是肯定不够的。建议大家认真看一下这两期主板的科普指南。
PCIe详解
PCIe是什么
PCIe(Peripheral Component Interconnect Express)是一种高速串行计算机扩展总线标准,广泛应用于连接各种外设和扩展卡。
PCIe的发展可以追溯到2003年,当时推出了PCIe 1.0版本。随后,PCIe经历了多次升级,包括PCIe 2.0(2007年)、PCIe 3.0(2010年)、PCIe 4.0(2017年)以及PCIe 5.0(2019年)。
而PCIe采用点对点连接方式,每个设备拥有独立的数据通道。这种方式消除了传统并行总线上的共享带宽限制,大大提高了数据传输速率。此外,PCIe还支持双向数据传输,即发送和接收数据可以同时进行。
PCIe插槽有多种尺寸,包括x1、x4、x8、x16等。这些数字表示每个插槽的数据通道数量,通道数量越多,传输速度越快。x16插槽通常用于显卡,而x1、x4和x8插槽则适用于其他外设,如声卡、网络卡等。
PCIe具有良好的向后兼容性。例如,一个PCIe 3.0设备可以在PCIe 2.0插槽上工作,但数据传输速度将受限于较低版本的PCIe。为了获得最佳性能,建议确保主板和外设都支持相同版本的PCIe。
PCIe通道分布——以13代Z790芯片组为例
来看一张来自intel官网对于Z790芯片组简介的图:
这部分就是与CPU直连的PCIe通道;
而DMI(Direct Media Interface)总线是一种高速点对点连接接口,用于在计算机主板中连接中央处理器(CPU)与平台控制器集线器(PCH,也称为南桥芯片)之间的数据传输。DMI总线的主要作用是在这两个关键组件之间提供高速的数据通信。
而从下图即可看出,除了直连CPU的PCIe的设备,其他诸如USB、2.5G网卡、SATA存储接口等要共享DMI4.0 X8的带宽,显然这些设备在同时启用时就会相互挤占带宽,拖慢设备运行的速度。
PCIE通道速度
PCIe 版本 | x1 | x4 | x8 | x16 |
---|---|---|---|---|
1.0 | 250 MB/s | 1 GB/s | 2 GB/s | 4 GB/s |
2.0 | 500 MB/s | 2 GB/s | 4 GB/s | 8 GB/s |
3.0 | 984.6 MB/s | 3.938 GB/s | 7.877 GB/s | 15.754 GB/s |
4.0 | 1.969 GB/s | 7.877 GB/s | 15.754 GB/s | 31.508 GB/s |
5.0 | 3.938 GB/s | 15.754 GB/s | 31.508 GB/s | 63.016 GB/s |
注:表中的速度数据是单向(单工)传输速度,即只包括了上传或下载的速度。实际上,双向(双工)传输速度是表中的两倍。例如,PCIe 3.0 x4的单向传输速度为3.938 GB/s,单向传输速度为7.877 GB/s。
而从上一节我们知道,主板PCH的连接速度是DMI4.0 x8的速度,查阅上表即可得出连接速度为15.754GB/s,双向速度为31.508GB/s。
我们用今年最适合用作AIO服务器的13代主板——铭瑄Z790M D5举个🌰:
图中红框圈住的地方,都是共享这DMI4.0 x8的带宽,光是这两个M.2的PCIe x4就可以占满所有的带宽。而且这还是最新的Z790芯片组。如果用的是比较旧的Z490芯片组,只有DMI3.0 x4的连接速度,那意味着PCH带宽速度就只有3.938 GB/s。根本无法满足所有设备的传输速度要求。
因此值友们应该可以明白直连CPU的PCIe通道的重要性了。因为如果我们要安装万兆网卡、甚至是40G网卡,要想跑到满速且不受其他设备部影响,就必须使用直连CPU的PCIe插槽,也就是主板第一条插槽。但如果只插网卡,即便是40G网卡,需要的PCIE 4.0的通道数大约也只是3条。如果这条插槽上只插40G网卡或万兆网卡就非常浪费了,如何充分利用好这16条通道,就是本文要解决的问题。
PCIE拆分
原理详解
PCIe拆分总的原理是将一个PCIe通道拆分成多个通道,以便连接更多的设备。这种拆分一般通过硬件实现,具体原理涉及到以下几个方面:
首先是PCIe总线架构,PCIe总线由多个点对点连接的通道(称为“lanes”)组成。每个通道由两条差分信号线组成,一条用于发送数据,另一条用于接收数据。通道可以单独使用,也可以组合成更高带宽的通道。例如,x1、x4、x8、x16等。
其次是数据传输:PCIe数据通过分组(称为“包”)在设备之间传输。每个包都有一个目标地址,用于指示其应该发送到哪个设备。这使得多个设备可以共享一个PCIe总线。
最后就是硬件设备——PCIe拆分器(switch):PCIe拆分器是一种硬件设备,可以将一个PCIe通道拆分成多个通道。它的工作原理是在输入和输出之间进行数据包的转发和路由。拆分器可以将一个高带宽数的通道(如x16)拆分成多个较低带宽数的通道(如4个x4通道)。
拆分卡详解
通常情况下,要实现PCIe通道拆分,需要CPU、主板和PCIe拆分卡同时支持、配合使用:
CPU:PCIe首条插槽支持拆分成几条通道使用,是由CPU决定的。intel十二代之前的家用处理器支持拆分为x8x4x4使用,而十二代之后就只支持拆分为x8x8了。AMD的CPU一般均支持拆分为x4x4x4x4四条通道使用。
主板:主板的BIOS/UEFI也需要支持PCIe拆分,以便正确配置和初始化拆分器。
如何知道我要选择的主板是否支持PCIe拆分呢,就需要用到上一期本薇教给你的技能了——看主板说明书(没看的赶快给我去看)。
华硕的主板说明书比较特殊:一般是标明支持Hyper M.2扩展卡,即表明支持PCIe拆分。
其他主板说明书可以到BIOS设置里面找,找到如下说明即表明主板支持拆分。
但是如果是帮主那种过于简略的主板说明书,那就只能去问客服了,当然一般客服也不知道这个事情,建议直接打官方技术客服碰碰运气。
另外需要注意,部分服务器主板限于CPU的PCIe通道数,因此可能第一条插槽和第二条插槽共用直连CPU的PCIe通道,这个时候相当于主板已经帮你做了拆分了,这个时候就可能出现无法进行拆分,或者拆分后速度过慢的问题。
最后就是PCIe拆分卡了:因为我们无法直接从物理意义上将主板的PCIe插槽进行拆分,就需要使用PCIe拓展卡来提供更多的物理插槽以连接更多的设备。拓展卡可能包含一个或多个PCIe拆分器,将主板上的原始PCIe插槽拆分为多个插槽。
拆分卡购买推荐
首先是比较通用的拆分方案:将x16通道拆分为x8x4x4,x8可以接一个半高的PCIe设备,网卡、显卡、raid卡等等都可以,两条x4分给M.2接口的设备,如下图所示:
其次,仍然是拆分为x8x4x4,不过是作为hpe网卡专用,x4仍然分给M.2接口的设备:
还有类似于这种的用于OCP网卡的拆分卡:
然后,如果是AMD或者部分服务器主板,支持拆分为x4x4x4x4,那么可以用这种拆分为四条M.2接口的扩展卡:
或者扩展为4个U.2接口,用来接U.2固态:
最后,如果你是最新的十二代、十三代主板,只支持拆分为x8x8也可以使用上述设备,只不过最后一条或两条的M.2接口的设备无法使用。或者使用以下PCIe拆分卡,不过这种拆分卡就需要你的机箱支持或者和PCIe延长线配合使用了:
PLX拆分卡购买推荐
如果你的主板不支持PCIe信号拆分,是不是就无可奈何了呢?当然也不是,我们可以借助PLX芯片进行通道拆分:
PLX芯片是一种常见的PCIe拆分器(switch),由PLX Technology(后被Avago Technologies收购,现为Broadcom的一部分)开发。
很多高端的工作站主板上,比如x299,会自带PLX芯片,以增强主板扩展性:
如果我们的主板上没有PLX芯片,我们就需要自行购买自带PLX芯片的拆分卡了。但说实话,此类拆分卡价格过高,不如直接在选购阶段直接购买支持PCIe通道拆分的主板。
ASM2824,80Gbps:
PLX8724,80Gbps带宽:
PLX8747,128Gbps带宽:
注:支持PCIe拆分的主板型号会统一放在AIO专栏第九期(《主板购买推荐》)里面,预计本周放出。
总结
本期主要给大家讲了一下主板的PCIe通道原理,以及其在增强AIO服务器扩展性上的应用。不同于机架式服务器机箱,在寸土寸金的AIO机箱里面,能尽可能地多塞下扩展卡就是王道。
下期预告:如何充分运用主板的各个接口,以最大化AIO服务器的扩展性。
这就是本期的全部内容了,如果这篇文章对您有帮助的话,欢迎您在评论区多多讨论,也欢迎关注、点赞、打赏一键三连,您的支持对我非常重要。
我是冥冰薇,点个关注不迷路,我们下期再见。
作者声明本文无利益相关,欢迎值友理性交流,和谐讨论~
技术宅是我梦想
校验提示文案
冥冰薇
校验提示文案
神秘消逝
校验提示文案
waterrr
校验提示文案
值友8974565270
校验提示文案
宋世江山
校验提示文案
她似这月儿S
校验提示文案
她似这月儿S
校验提示文案
值友9141384202
校验提示文案
askiz
校验提示文案
zxkggmc
校验提示文案
歪我是小爽啊
校验提示文案
禾烁也叫小禾
校验提示文案
萌木曦曦
校验提示文案
姐搓澡不
校验提示文案
隔壁的七大叔
校验提示文案
hhyy520
校验提示文案
然然妈妈
校验提示文案
好好学习_天天向上_
校验提示文案
sjrnf
校验提示文案
zxkggmc
校验提示文案
Stronger_Ning
校验提示文案
xyzeratul
校验提示文案
榛诚
校验提示文案
askiz
校验提示文案
CaesarL
校验提示文案
值友9141384202
校验提示文案
思水忆晶
校验提示文案
修观
校验提示文案
sjrnf
校验提示文案
好好学习_天天向上_
校验提示文案
然然妈妈
校验提示文案
hhyy520
校验提示文案
隔壁的七大叔
校验提示文案
姐搓澡不
校验提示文案
萌木曦曦
校验提示文案
她似这月儿S
校验提示文案
她似这月儿S
校验提示文案
宋世江山
校验提示文案
禾烁也叫小禾
校验提示文案