技术博客

研究论文《ConRFT: 真实环境下基于强化学习的VLA模型微调方法》提出了一种名为ConRFT的两阶段策略。该方法通过强化学习技术对视觉语言模型（VLA）进行微调，以优化其在真实环境中的机器人应用场景。此创新方法旨在提升模型的适应性和性能，为未来机器人技术的发展提供了新思路。

在机器学习领域，特别是在大模型训练中，LoRA（低秩适应）技术成为了一种高效的微调方法。该技术的核心在于假设权重矩阵的变化ΔWₙₖ在自适应过程中可以表示为低维空间内的变动，且其秩远小于矩阵的最小维度，即rank(ΔWₙₖ) << min(n,k)。通过这种方式，LoRA不仅显著减少了计算资源的需求，还提高了模型的训练效率和性能。