技术博客

近期，斯坦福大学与普林斯顿大学联合Together AI，提出新型大模型推理优化框架SSD及其核心算法SAGUARO。该框架首次实现大型语言模型“草拟”与“验证”阶段的完全并行化，显著突破传统串行推理范式瓶颈。实测表明，其推理速度较当前全球最强推理引擎提升达两倍，为AI部署效率树立新标杆。SSD不仅强化了大模型在实时交互、边缘计算等场景的可行性，也为高吞吐、低延迟的AI应用提供了可扩展的技术路径。