技术博客

上海交通大学的研究团队提出了一种创新方法，成功将KV Cache技术应用于扩散型大型语言模型（dLLMs）的推理加速。这一突破表明，KV Cache不仅适用于自回归模型，还能显著提升dLLMs的推理效率。该方法无需额外训练步骤，为大型语言模型的性能优化提供了新思路。