技术博客

ICLR'26最新研究指出，大型语言模型在序列预测中易陷入“短视预测”——即过度聚焦当前token而忽略长期依赖，导致推理连贯性与规划能力受限。为此，研究者提出Next-ToBE（Next-Token-aware Bayesian Estimation）方法，通过重构训练目标，使模型在每一步预测中显式建模未来token的联合分布，实现“未来感知”式推理优化。该方法显著提升了模型在多步推理、因果推断与长程一致性任务中的表现，为增强大模型的全局推理能力提供了新范式。

Next-ToBE是一种创新的训练策略，旨在提升大型语言模型的长远推理能力。传统模型在生成过程中仅优化当前token的预测准确性，易忽视后续token分布及其累积影响；而Next-ToBE通过显式建模未来token的概率分布，使每一步预测均兼顾短期准确性与长期一致性，从而增强模型的整体推理能力。该技术不依赖额外参数或推理时搜索，而是从训练机制层面重构目标函数，为大模型走向稳健、可规划的生成范式提供了新路径。