技术博客

在ICML 2025会议上，清华大学与上海人工智能实验室联合提出了一种名为傅里叶位置编码的新技术。该技术在多项任务中显著超越了现有的RoPE方法，为语言模型处理长文本的能力带来了突破性进展。通过这种编码方式，语言模型有望实现对无限长度输入文本的高效处理，从而在回答人类问题时表现得更加智能和全面。

在ICML 2025会议上，SVG团队提出了一种创新的视频生成模型优化方法。该研究通过结合结构化理解和自适应稀疏性，成功将推理速度提升两倍，同时保持视觉质量不下降。其核心在于捕捉注意力机制中的时空稀疏性，从而显著提高视频生成效率。这一突破可能成为未来视频生成技术的关键发展方向。

在即将到来的ICML 2025会议上，一项突破性研究《Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding》揭示了大型语言模型（LLMs）中自注意力模块的极大值现象。研究表明，这些极大值对上下文知识的理解起着关键作用，为优化LLMs性能提供了新方向。