技术博客

Linear-MoE是由上海人工智能实验室开发的创新项目，首次系统性地将线性注意力机制与混合专家（MoE）技术结合。该项目开源了模型构建与训练的技术框架，并支持层间混合架构，为下一代基础模型的研发提供了重要工具和实践经验。