技术博客

本文聚焦多模态大模型中Attention机制的可靠性问题，指出其在实际应用中未必能准确反映输入元素的语义重要性——尤其在图文对齐、跨模态注意力分配等场景下存在系统性偏差。基于实证分析与理论推导，研究提出一个可解释的修正公式，通过引入模态置信度权重与语义一致性约束项，校准原始Attention得分，显著提升其作为语义重要性代理指标的可信度。该方法为多模态可解释性研究提供了新路径。