华为诺亚实验室创新MoLE架构:端侧部署的未来之星
华为诺亚实验室在ICML 2025上推出了一种新型MoE架构——MoLE,专为端侧部署优化。该架构通过将专家输入转化为浅层嵌入标记,并以查找表替代传统矩阵运算,显著降低了推理阶段的显存消耗与传输延迟。实验表明,MoLE在保持与MoE相似性能的同时,在批量解码场景下展现出更优的推理延迟表现。
MoLE架构端侧部署推理延迟显存消耗批量解码
2025-05-07
腾讯混元hunyuan3D生成模型:本地搭建与深度应用解析
腾讯混元3D生成模型提供了一种强大的本地搭建和使用方案,能够在197秒内完成3D模型的生成,显存消耗约为23.5G。生成的3D模型保存在'D:\Hunyuan3D-1\outputs\test'目录下,用户可通过点击'mesh.obj'文件查看。环境配置方面,在'D:\Hunyuan3D-1'目录下需修改'requirements.txt'文件并安装指定库。该模型支持根据文本或图片自动生成3D模型,体现了腾讯在AI领域的技术实力。
腾讯混元3D本地搭建显存消耗环境配置3D模型生成
2025-02-17
AI热点
1
2025-05-09
开源新篇章:AI在虚拟世界的互动演进