黄仁勋对话Transformer作者:大模型资源浪费巨大(图)

2017年，一篇具有里程碑意义的论文——《AttentionisAllYouNeed》横空出世，它首次引入了基于自注意力机制的Transformer模型，这一创新架构摆脱了传统的RNN和CNN的束缚，通过并行处理的注意力机制，有效克服了长距离依赖的难题，并显着提升了序列数据处理的速度。Transformer的编码器-解码器结构和多头注意力机制在人工智能领域掀起了一场风暴，大热的ChatGPT正是基于这一架构构建的。

想象一下，Transformer模型就像是你的大脑在和朋友交谈时，能够同时关注对方说的每个词，并理解这些词之间的联系。它赋予了计算机类似人类的语言理解能力。在此之前，RNN是处理语言的主流方法，但其信息处理速度缓慢，就像老式的磁带播放器，必须逐字逐句地播放。而Transformer模型则像是一位高效的DJ，能够同时操控多个音轨，迅速捕捉到关键信息。

Transformer模型的出现极大地提升了计算机处理语言的能力，使得机器翻译、语音识别和文本摘要等任务变得更加高效和精确，这对整个行业来说是一个巨大的飞跃。

这项创新成果源于八位曾在谷歌工作的AI科学家的共同努力。他们最初的目标非常简单：改进谷歌的机器翻译服务。他们希望机器能够完整地理解并通读整个句子，而不是孤立地逐词翻译。这一理念成为了“Transformer”架构的起点——“自我注意力”机制。在此基础上，这八位作者发挥各自的专长，于2017年12月发表了论文《AttentionIsAllYouNeed》，详细描述了Transformer架构，开启了生成式AI的新篇章。

在生成式AI的世界里，规模定律（ScalingLaw）是核心原则。简而言之，随着Transformer模型规模的扩大，其性能也随之提升，但这同样意味着需要更强大的计算资源来支持更庞大的模型和更深层的网络，而提供高性能计算服务的英伟达也同时成为了这场AI浪潮中的关键角色。

在今年的GTC大会上，英伟达的黄仁勋以一种充满仪式感的方式邀请了Transformer的七位作者（NikiParmar因故临时未能出席）参与圆桌论坛的讨论，这是七位作者首次在公开场合集体亮相。

以下为内容实录：

黄仁勋：在过去的六十年中，计算机技术似乎并没有经历根本性的变革，至少从我出生的那一刻起便是如此。我们目前所使用的计算机系统，无论是多任务处理、硬件与软件的分离、软件的兼容性，还是数据备份能力，以及软件工程师的编程技巧，基本上都是基于IBMSystem360的设计原则——中央处理器、Bio子系统、多任务处理、硬件与软件、软件系统的兼容性等等。

我认为，自1964年以来，现代计算并没发生过根本性改变。尽管在20世纪的80年代和90年代，计算机经历了一次重大的转型，形成了今天我们所熟悉的形态。但随着时间的流逝，计算机的边际成本持续下降，每十年其成本就减少十倍，十五年减少一千倍，二十年减少一万倍。在这场计算机革命中，成本的降低幅度是如此之大，以至于在二十年的时间里，计算机的成本几乎降低了一万倍，这种变化为社会带来了巨大的动力。

试着想象一下，如果你生活中所有昂贵的物品都降到了原来的一万分之一，比如二十年前你花20万美元购买的汽车，现在只需1美元，你能想象这种变化吗？然而，计算机成本的下降并非一蹴而就，而是逐渐到达了一个临界点，之后成本下降趋势突然停止了，它依然每年都在不断改进一点点，但是变化率停滞不变了。

我们开始探索加速计算，但使用加速计算并不容易，你需要从头一点一点来设计。过去，我们可能按照既定的步骤一步步解决问题，但现在，我们需要重新设计这些步骤，这是一个全新的科学领域，将之前的规则重新表述为并行算法。