技术博客

在ICML 2025会议上，清华大学与上海人工智能实验室联合提出了一种新型傅里叶位置编码技术。该技术在多项任务中显著超越了现有的RoPE方法，有效解决了RoPE周期性扩展的限制问题，提升了语言模型（LM）在长度外推方面的能力。这一突破为位置编码技术的发展提供了新方向，并有望进一步推动自然语言处理领域的进步。

在即将到来的ICML 2025会议上，学者们将聚焦“注意力机制中的极大值：破解大型语言模型（LLMs）上下文理解的关键”这一核心议题。大型语言模型已在上下文知识处理方面取得显著进展，而通过深入研究注意力机制中的极大值，有望进一步提升其对复杂语境的理解能力，推动自然语言处理技术迈向新高度。