技术博客

腾讯AI Lab的最新研究指出，大型视觉语言模型（LVLM）在处理多图像、长视频和细粒度感知任务方面展现出更强的智能能力，但同时也面临推理成本显著上升的挑战。随着视觉Token数量的增加，算力瓶颈问题日益突出，成为多模态智能发展的关键限制因素。为应对这一难题，研究团队提出了一种无损加速方法，通过优化模型结构，有效减少视觉冗余Token，从而降低计算负担，提升模型运行效率。该技术有望推动多模态人工智能向更高效、实用的方向发展。

清华与耶鲁大学合作开发的推理模型引入了动态推理机制，实现了测试阶段的高效扩展。该模型不仅显著提升了推理性能，还通过优化Token使用量，有效降低了资源消耗，展现了效率与性能的双重优势。这一创新为人工智能领域的推理技术提供了新思路。