技术博客

在对12种参数高效微调（PEFT）方法的全面评估中，DoRA在推理任务RLVR上表现突出，准确率达到55.0%，略高于标准LoRA的54.8%。尤其在高难度数学推理任务AMC与AIME测试中，DoRA展现出更显著的优势。结果表明，通过解耦参数的幅度与方向，并优化学习率分配策略，能够有效提升模型性能，为PEFT方法的设计提供了重要启示。

在NeurIPS2025 Spotlight会议上，中国科学院、中山大学与北京大学联合提出一种新型高效微调模型合并方法——RobustMerge。该方法针对多模态大型模型的参数高效微调（PEFT）模块合并问题，首次提出“方向鲁棒性”概念。研究发现，PEFT模块合并失败的主要根源在于方向不鲁棒，而非传统认为的“符号冲突”。RobustMerge通过优化方向一致性，在无需额外计算成本的前提下，显著提升合并效果，为多模态模型的高效适配提供了简单而可靠的解决方案。

在大数据与大模型的推动下，遥感微调技术凭借其低成本、高效率的优势，成为解决小样本与长尾目标等复杂遥感场景问题的关键手段。从早期的全参数微调到参数高效微调（PEFT），再到当前多种PEFT方法融合的混合微调范式，技术路径持续演进。清华大学科研团队在《CVMJ》期刊系统梳理了该领域的发展脉络，并提出九个具有前瞻性的研究方向，旨在推动遥感微调技术在农业监测、天气预报等关键领域的深入应用与创新。