技术博客

近日，一款基于混合专家（MoE）架构的大语言模型正式开源发布。该模型总参数量达350亿，但通过稀疏激活机制，每次前向推理仅激活约30亿参数，在保持强大表达能力的同时显著降低计算开销与部署门槛。这一设计兼顾了模型性能与效率，为大模型优化提供了新范式，也进一步推动了开源大模型在资源受限场景下的实际应用落地。