探索人工智能通用性的未来：Noam Shazeer在Hot Chips 2025上的洞察

> ### 摘要 > 在Hot Chips 2025会议上，谷歌Gemini项目的联合负责人、Transformer模型的共同发明者Noam Shazeer就人工智能通用性（AGI）的发展方向发表见解。面对当前大型AI模型对算力、存储和网络连接的迫切需求，他指出，制约AGI进一步突破的关键因素并非单纯的算力或存储能力，而是复杂的网络连接效率。Shazeer强调，在分布式训练中，模型参数的同步与通信开销已成为性能瓶颈，优化芯片间和系统内的数据传输架构比单纯提升计算能力更为重要。这一观点为未来AI基础设施的设计提供了新的思考方向。 > ### 关键词 > AGI, 算力, 存储, 网络, 模型 ## 一、AI模型发展的三大要素 ### 1.1 大型AI模型的需求现状 在人工智能迈向通用智能（AGI）的征途中，大型AI模型正以前所未有的速度演进。从语言理解到视觉生成，这些庞然大物依赖海量数据与复杂架构实现惊人表现。然而，随着模型参数规模突破万亿级别，训练和推理过程对基础设施的要求已远超以往。谷歌Gemini项目的联合负责人Noam Shazeer在Hot Chips 2025会议上的发言直指核心：当前制约AI进步的，不再是单一技术指标的提升，而是系统整体协同效率的极限挑战。算力、存储与网络三者之间的平衡正在被打破，而其中最脆弱的一环，恰恰是人们长期忽视的——连接。当数千枚芯片并行运算时，模型参数需要频繁同步，通信延迟开始吞噬计算优势，使得再强大的处理器也陷入“等数据”的窘境。 ### 1.2 算力：AI发展的引擎 算力长久以来被视为推动AI革命的核心动力。从GPU集群到TPU阵列，硬件厂商不断突破每秒浮点运算次数的上限，试图为更大模型提供支撑。Noam Shazeer并不否认这一点：没有足够的算力，训练千亿参数模型无从谈起。但他在演讲中提出一个发人深省的问题：“当我们拥有无限算力时，是否就能立刻迎来AGI？”答案是否定的。他指出，在分布式训练环境中，超过70%的时间可能消耗在节点间的通信等待上，而非实际计算。这意味着，即便将算力提升十倍，若网络无法同步跟进，性能增益也将大打折扣。算力如同发动机，但若传动系统滞后，再强劲的动力也无法转化为前进速度。 ### 1.3 存储能力：AI模型的数据基础 存储作为AI系统的“记忆中枢”，承载着模型权重、激活值与训练数据的洪流。现代AI训练过程中，单次前向传播就可能产生TB级临时数据，对内存带宽和持久化存储提出极高要求。Shazeer提到，尽管高带宽内存（HBM）和新型非易失性存储技术不断迭代，但真正的瓶颈不在于容量大小，而在于数据能否及时送达计算单元。当模型参数分布在多个设备上时，每一次读写都涉及跨芯片甚至跨机柜的访问，延迟迅速累积。他比喻道：“就像图书馆藏书再多，如果管理员跑得太慢，读者依然要等待。”因此，未来的存储设计必须与网络架构深度融合，构建低延迟、高吞吐的数据通路，才能真正释放AI潜能。 ## 二、人工智能通用性的深度探讨 ### 2.1 网络连接的复杂性与AI通用性 在通往人工智能通用性（AGI）的征途中，技术的焦点正悄然从“算得快”转向“连得通”。当模型参数规模突破万亿，训练系统动辄调用数千枚AI加速芯片并行运算时，网络连接的复杂性已不再是后台配角，而是决定成败的前台主角。Noam Shazeer在Hot Chips 2025会议上的发言揭示了一个令人警醒的事实：在当前的分布式训练架构中，超过70%的时间消耗在节点间的通信等待上，而非实际的计算过程。这意味着，即便每颗芯片都拥有惊人的算力，它们却常常陷入“空转”状态，等待彼此传递梯度与参数。这种“算力闲置、网络拥堵”的悖论，暴露出AI系统设计中的深层断裂——我们建造了强大的引擎，却忽略了传动系统的匹配。更严峻的是，随着模型层数加深、注意力机制频繁交互，Transformer架构对全局信息同步的需求呈指数级增长，使得芯片间、机柜间乃至数据中心间的低延迟互联成为制约扩展性的关键瓶颈。若不能从根本上重构数据流动的路径，任何算力或存储的提升都将被通信开销无情吞噬。 ### 2.2 Noam Shazeer的见解与答案 面对“算力、存储、网络，何者为先”的诘问，Noam Shazeer给出了清晰而深刻的答案：**网络连接效率，才是解锁AGI下一阶段的核心钥匙**。作为Transformer模型的共同发明者和谷歌Gemini项目的技术掌舵人，他的观点不仅源于理论洞察，更来自大规模AI系统实战的切肤之痛。他指出，当前AI基础设施的发展呈现出明显的“跛脚”态势——算力以每年近两倍的速度增长，存储带宽缓慢爬升，而网络延迟的优化却远远滞后。在一次内部实验中，团队发现即使将单芯片算力提升50%，整体训练速度仅提高不到15%，原因正是跨芯片通信成为新的性能墙。Shazeer强调：“我们不能再把网络当作‘管道’来对待，它必须成为智能系统的一部分。”他呼吁硬件设计者重新思考芯片间互连架构，推动光互联、3D堆叠封装与可编程路由技术的融合，构建真正面向AI工作负载的“神经状”高速网络拓扑。唯有如此，才能让海量算力真正协同共振，而非各自为战。 ### 2.3 AI通用性的未来展望 Noam Shazeer的洞见为AGI的未来发展描绘了一条崭新的技术路径：**从“计算中心化”走向“连接智能化”**。未来的AI系统不再仅仅是算力的堆砌，而是一个高度协同、数据流畅流动的生命体。在这个愿景中，网络不再被动传输数据，而是具备感知流量模式、动态调整带宽分配的能力，甚至能在边缘预处理部分通信任务，减少核心计算单元的等待时间。谷歌已在最新一代TPU集群中试点新型片上网络（NoC）架构，初步实现了通信延迟降低40%的突破。这预示着，AGI的实现可能不取决于哪一家率先造出最强芯片，而在于谁能最先构建出最高效的“AI神经系统”。正如Shazeer所言：“当我们解决了连接的问题，真正的智能涌现才有可能发生。”这一转变不仅是技术的跃迁，更是思维方式的革命——从追求个体强大，到追求整体协同，或许这才是通向通用人工智能的真正捷径。 ## 三、总结 Noam Shazeer在Hot Chips 2025会议上的观点揭示了AGI发展路径中的关键瓶颈：网络连接效率。尽管算力和存储持续进步，但在分布式训练中，超过70%的时间消耗于通信等待，导致算力大量闲置。实验显示，即便单芯片算力提升50%，整体训练速度仅提高不足15%，凸显网络已成为性能跃升的主要制约因素。Shazeer强调，未来的AI基础设施必须从“计算为中心”转向“连接智能化”，通过光互联、3D封装与可编程路由等技术构建高效“AI神经系统”。唯有如此，才能真正释放大规模模型的潜力，推动AGI实现从量变到质变的突破。