策略梯度与Actor-Critic：强化学习的两种优化策略解析

> ### 摘要 > 本文简要阐述强化学习中的两类核心优化策略：策略梯度与Actor-Critic方法。区别于值函数方法——即先学习状态价值函数 $V$ 或动作价值函数 $Q$，再从中导出最优策略——策略梯度方法将策略直接建模为带参数的可导函数，并通过梯度上升直接优化策略本身。Actor-Critic则融合二者优势：Actor负责执行策略（即参数化策略），Critic负责评估策略（即学习值函数），从而兼顾策略更新的稳定性与效率。该框架在连续控制、高维动作空间等任务中展现出显著优势。 > ### 关键词 > 策略梯度, Actor-Critic, 值函数, 可导策略, 强化学习 ## 一、强化学习基础概念 ### 1.1 强化学习的基本原理与目标 强化学习的本质，是一场智能体在未知世界中不断试错、反思与成长的旅程。它不依赖标注数据，也不预设明确规则，而是让智能体通过与环境的持续交互，依据即时反馈（奖励或惩罚）逐步塑造自身行为——这种“从经验中学习”的范式，既朴素又深邃，恰如人类幼年时蹒跚学步、跌倒再起的过程。其终极目标，并非记忆某一固定答案，而是习得一种稳健、适应性强且可泛化的决策能力：在纷繁状态中识别关键信息，在不确定后果下权衡长期收益，最终逼近最优策略。这一目标背后，蕴藏着对“自主性”与“适应力”的深切敬意——不是被指令驱动，而是主动理解、判断并承担选择的重量。 ### 1.2 值函数方法与策略方法的区别 值函数方法与策略梯度方法，代表了两条截然不同却同样执着的求索路径。前者如一位沉思的哲人，先潜心构建对世界的认知地图——学习状态价值函数 $V$ 或动作价值函数 $Q$，待价值脉络清晰浮现，再据此推导出最优行动逻辑；后者则更像一位果敢的践行者，拒绝间接迂回，直接将策略建模为带参数的可导函数，以梯度为刻刀，一刀一刀雕琢行为本身。这种根本差异，不只是技术路线的选择，更是哲学立场的映照：是相信“理解先行，行动随后”，还是坚信“行动即理解，在优化中定义意义”？而Actor-Critic方法，则如一次静默的和解——Actor承载策略的温度与意图，Critic提供价值的尺度与校准，二者共生共进，在连续控制与高维动作空间等复杂疆域中，让学习既不失方向，亦不缺勇气。 ### 1.3 强化学习中的环境与智能体交互 环境与智能体的每一次交互，都是一次微小却庄严的契约：智能体输出动作，环境予以响应；奖励悄然落下，状态随之流转。这看似机械的循环，实则承载着学习最原始的生命力——没有旁白，没有解释，只有因果在时间中延展。正是在这无言的对话里，策略得以被检验，价值得以被重估，参数在梯度中悄然偏移。它不承诺捷径，却始终尊重真实：失败不是终点，而是下一个策略更新的起点；延迟回报不是漏洞，而是时间维度上最诚实的考卷。当张晓在深夜重读一段策略梯度公式的推导时，她忽然想起童年窗台那只反复撞向玻璃的麻雀——它不懂反射定律，却用翅膀丈量边界；正如智能体，亦在千万次碰撞中，学会如何真正“看见”世界。 ## 二、策略梯度方法详解 ### 2.1 策略梯度的基本原理与数学基础 策略梯度方法跳出了“先认知、后行动”的传统范式，选择了一条更为直率的路径：它不等待价值函数收敛，也不依赖贪婪策略提取；它让策略本身成为可微分的生命体——一个由参数 $\theta$ 完全定义的、平滑流淌的概率分布 $\pi_\theta(a|s)$。在这里，每一个决策不再是离散的跃迁，而是一次在参数空间中的连续呼吸：梯度指向之处，便是策略进化之方向。其数学内核朴素却有力——目标函数 $J(\theta)$ 被定义为智能体在策略 $\pi_\theta$ 下的期望累积回报，而策略更新则遵循 $\theta \leftarrow \theta + \alpha \nabla_\theta J(\theta)$。这一公式看似简洁，却承载着深刻的信念：行为无需被间接推导，它本就可以被直接塑造、被数学温柔托举、被每一次奖励信号悄然校准。 ### 2.2 可导策略函数的设计与参数化 可导策略，是策略梯度方法得以扎根的土壤，也是它区别于传统强化学习范式的灵魂印记。它要求策略必须是参数化的、连续可微的函数——无论是用Softmax输出离散动作的概率，还是以高斯分布建模连续动作的均值与方差，其核心始终如一：让 $\pi_\theta(a|s)$ 对 $\theta$ 可导。这种设计不是技术上的妥协，而是一种主动的承诺：承诺策略不再是一组僵硬的查表规则，而是一个能随环境反馈自我伸展的有机体。当参数 $\theta$ 在反向传播中微微颤动，策略便随之发生细微却真实的偏移——就像调音师轻触琴弦，整段旋律的质地悄然改变。正因如此，“可导策略”四字，不仅描述一种数学性质，更象征一种学习哲学：唯有可微，才可生长；唯有可塑，才可适应。 ### 2.3 策略梯度算法的优化目标与推导 策略梯度算法的优化目标，直指强化学习最本真的诉求：最大化长期累积回报的期望值。这一目标不借道价值函数的中间映射，而是通过策略性能梯度 $\nabla_\theta J(\theta)$ 的精确估计，实现对策略参数的端到端更新。其经典推导始于策略性能的定义，继而借助概率对数梯度恒等式（log-derivative trick）将期望梯度转化为可采样估计形式，最终导出如REINFORCE等基础算法的更新规则。整个过程宛如一次精密的归因——将最终的奖励信号，沿着行为轨迹回溯、分配、加权，最终落于每一个决策参数之上。它不回避方差，也不掩饰偏差，只是坚定地相信：只要梯度方向正确，哪怕步履蹒跚，策略终将在无数次迭代中，走向更稳健、更深远的决策疆域。 ### 2.4 策略梯度的优势与局限性 策略梯度方法以其对策略的直接优化能力，在连续控制、高维动作空间等任务中展现出不可替代的优势——它天然兼容函数逼近，能学习随机策略，且避免了值函数方法中策略提取可能引入的次优性。然而，这份自由亦伴生代价：原始策略梯度估计往往方差高、收敛慢，对超参数敏感，且缺乏即时的价值反馈机制。它像一位才华横溢却尚未学会自我节制的诗人——情感浓烈、表达直接，却需借助Critic的理性凝视，才能将炽热的直觉，锻造成稳定而可复现的智慧。这正是Actor-Critic方法诞生的深层动因：不是否定策略梯度的勇气，而是为其注入一份沉静的尺度——让行动有温度，也让评估有刻度。 ## 三、总结 策略梯度与Actor-Critic方法共同构成了现代强化学习中策略优化的两大支柱。前者摒弃间接推导，将策略直接参数化为可导函数，通过梯度上升实现端到端优化；后者则在策略梯度框架下引入值函数评估机制，由Actor执行策略、Critic提供价值反馈，从而兼顾优化效率与训练稳定性。二者均以“可导策略”为技术前提，依托值函数（$V$ 或 $Q$）的建模能力或辅助作用，在连续控制、高维动作空间等复杂任务中展现出显著优势。相较于传统值函数方法需先学习价值再提取策略的两阶段范式，策略梯度类方法更强调行为本身的可微分性与可塑性，体现了强化学习从“认知驱动”向“行动驱动”的范式演进。