技术博客

在监督微调（SFT）之后，大语言模型的后训练阶段已超越传统RLHF范式，涌现出多种高效、可扩展的优化方法。其中，DPO通过隐式偏好建模规避强化学习复杂性；GRPO凭借梯度驱动的奖励优化机制，在近年备受关注，展现出优异的稳定性与收敛效率；RLAIF则结合反事实反馈增强泛化能力；拒绝采样作为经典策略，仍广泛用于高质量样本筛选。这些技术各具优势，共同拓展了后训练方法论的边界。