技术博客

近日，加州大学圣地亚哥分校（UCSD）提出了一种创新的推理方法——DreamPRM，旨在通过过程奖励模型（PRM）增强大型语言模型的推理能力，在纯文本任务中取得了显著成果。然而，将PRM技术应用于多模态大型语言模型（MLLMs）时，研究人员面临诸多挑战。DreamPRM通过作为“信号放大器”的角色，成功克服了这些难题，并在MathVista测评榜上脱颖而出，有效解决了数据中的“噪音”问题，为多模态模型的发展提供了新方向。

最新研究显示，加州大学圣地亚哥分校（UCSD）开发了一种名为DreamPRM的大模型推理方法。该方法采用双层优化框架，有效过滤数据中的“噪音”，从而显著提升数据质量。DreamPRM通过将数据域权重作为可学习参数，动态降低低质量数据域的影响，并增强高信息密度数据域的贡献，例如用于复杂推理的M3CoT数据集。这种方法不仅优化了数据质量，还提升了数据覆盖率，使DreamPRM在MathVista测评榜上名列前茅。