259
227
SM新闻 篇六：Nvidia一篇文揭开「黄氏定律」时代：GPU AI 推理性能10年翻1千倍
2023-10-08 16:02:14
0点赞
0收藏
0评论
正当人们争论摩尔定律是否已死的时候，最近NVIDIA官方发表了一篇与「黄氏定律（Huang's Law）」相关的技术文章，不谈晶体管数量，而是认为在未来单芯片性能和效率的AI推理性能，在不到十年的时间内将会提高1000倍以上。
摩尔定律在过去一直主导着科技业。NVIDIA公司首席执行长黄仁勋（Jensen Huang）曾多次表示，摩尔定律正在「放缓」，它的概念已经开始过时。尽管NVIDIA在过去十年中将GPU从28纳米迁移到了5纳米半导体节点，但该技术仅占总收益的2.5倍。
NVIDIA公司首席科学家比尔-达利（Bill Dally）在一篇文章中澄清说，NVIDIA对下一代技术的态度是围绕「黄氏定律」展开的。
何谓黄氏定律？
所谓「黄氏定律（Huang's Law）」的由来，NVIDIA声称并非他们自己发明的，这一术语源自IEEE Spectrum的一篇报导，后来被多家媒体所熟知。NVIDIA最近在其产品中实施的概念确实很有趣，它可能是打开行业未来之门的钥匙。
比尔-达利（Bill Dally）在「热芯片2023」的演讲中表示，NVIDIA在过去十年中见证了计算芯片性能惊人的1000倍增长。按照书本上的说法，如果采用摩尔定律，这样的提升是不可能实现的，而制程的缩减也不会对这一数字产生任何影响。现在，你可能会问我这是怎么实现的，我的回答是，优先考虑单个「堆栈」内的创新，而不是芯片开发。
为了支持这种说法，NVIDIA公司在其文章中表示，引入「Hopper架构」是显示巨大性能数据的决定性因素，因为它们使用了「8位和16位浮点和整数数学」。更进一步，「安培架构」的推出提高了统计学习的性能，使计算工作负载的性能提升了2倍。为了将各项技术串联起来，NVIDIA的「NVLINK」技术派上了用场，最终实现了x1000的突破。
NVIDIA在文内提到，在整个10年期间，公司从28纳米制程转换到5纳米制程，性能仅提高了2.5倍。这违背了摩尔定律，即芯片每「缩小」一次，性能就会同比提高2倍。达利表示，NVIDIA的未来取决于「黄氏定律」，而「黄氏定律」会带来一些行业进步的机会。
「现在是做计算机工程师的一个有趣的时代。」达利表示，「行业形势确实验证了这一事实。可以说，计算机行业正处于一个决定性的时刻，而这一切都取决于公司如何看待芯片和运算的发展」。
作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～
