技术博客

近期，MIT与谷歌团队提出了一种提升大语言模型（LLM）推理效率的新方法——异步并行生成范式。该范式突破了传统顺序生成的限制，通过识别语义独立的文本块并进行并行处理，实现了类似“分身协作”的高效生成模式，显著优化了LLM的生成速度与性能。