技术博客

苹果公司的研究人员最近在大型语言模型（LLM）领域取得了一项重要发现，揭示了模型中被称为“超级权重”的关键参数现象。尽管这些参数仅占模型总参数量的0.01%，但它们可能包含多达数十万个权重值，对模型性能具有显著影响。这一发现为模型训练和优化提供了新的视角，使原本被视为“炼丹术”的过程变得更加科学和可控，为未来模型的设计和改进奠定了坚实基础。