技术博客

在ICML 2025 Spotlight会议上，华为诺亚实验室推出的端侧大模型架构MoLE，通过稀疏激活特性将内存搬运代价降低1000倍。基于Mixture-of-Experts（MoE）原理，MoLE仅在推理时激活每个token所需的一小部分专家，有效减少计算量。然而，尽管MoE优化显著，其参数规模仍大于同等性能的密集型模型，在显存受限的端侧部署中面临挑战。

清华大学的研究团队对混合专家（Mixture of Experts，简称MoE）架构进行了创新，提出了一种新型的类脑稀疏模块化架构。这种架构通过稀疏激活机制，允许模型在运行时仅激活部分功能模块，从而显著减少计算和学习成本。这种设计使得在相同的计算资源下，模型能够展现出更优的性能。