技术博客

在ICLR 2025会议上，研究团队提出了一种创新的多模态大模型推理加速框架——Dynamic-LLaVA。该框架针对多模态大型模型推理效率受限的问题，通过分析不同推理阶段，设计了专门的加速方案。作为首个可同时对视觉和语言上下文进行稀疏化的框架，Dynamic-LLaVA能够显著降低计算开销，预计减少50%-75%的计算成本，为多模态模型的高效推理提供了统一解决方案。