从期望值到样本估计：强化学习的核心算法演进

> ### 摘要 > 在强化学习中，从精确计算期望值转向基于样本的期望估计，标志着方法论的根本演进。蒙特卡洛（Monte Carlo）方法通过完整轨迹采样来无偏估计回报期望，但需等待回合结束；时序差分（TD）学习则在单步交互中引入自举（bootstrapping），实现在线、增量式估计；Sarsa作为同策略TD算法，基于实际采取的动作更新Q值；而Q-learning作为异策略算法，通过最大化下一状态动作值进行更新，更具鲁棒性与收敛保障。四者共同构成期望估计技术发展的核心脉络。 > ### 关键词 > 蒙特卡洛,时序差分,Sarsa,Q学习,期望估计 ## 一、期望值的计算与样本估计 ### 1.1 强化学习基础：期望值在决策中的核心作用 在强化学习的逻辑深处，期望值并非冰冷的数学符号，而是智能体每一次抉择背后无声的权衡者——它承载着对未知未来的理性凝视，是策略优劣的终极判官。当智能体面对状态 $s$ 时，它真正追问的从来不是“下一步该做什么”，而是“若持续遵循当前策略，从这里出发所能获得的长期回报平均而言会是多少”。这一问题的答案，即状态值函数 $V^\pi(s)$ 或动作值函数 $Q^\pi(s,a)$ 的数学期望，构成了所有决策的锚点。然而，真实世界不提供概率分布的透明说明书，环境动态常不可知、不可建模，更无法穷举所有可能轨迹。于是，期望值从教科书里的积分表达式，悄然蜕变为一个必须被“逼近”的目标——它不再可被精确计算，而必须被耐心地、一次次地从交互中打捞出来。这种转变，不是退让，而是一场向现实低头后的主动突围：把抽象的“应然”拉回具身的“实然”，让智能体在试错的尘埃里，亲手锻造出属于自己的判断依据。 ### 1.2 从理论到实践：样本估计对强化学习的重要性 正是在这种根本性张力下，从计算期望值到使用样本估计期望值的转变，成为强化学习演进中最富生命力的转折。蒙特卡洛方法以完整的回合为单位，在终点回溯求和，用经验轨迹诚实兑现“无偏性”的承诺；时序差分学习则像一位敏锐的观察者，在每一步落子后即刻校准预期，借自举之巧，在未见终局时已悄然更新信念；Sarsa将这份校准牢牢系于实际行走的路径之上，忠实地反映策略的真实代价；而Q-learning则以更开阔的视野眺望最优可能，在行动与评估之间划出一道清醒的界限。它们并非彼此替代，而是层层递进的认知脚手架——共同支撑起一个朴素却深刻的理念：智能的成长，不在推演之中，而在经历之中；不在完美公式里，而在每一次与环境碰撞后留下的、带着温度的样本印记里。 ## 二、蒙特卡洛方法：基于完整轨迹的期望估计 ### 2.1 蒙特卡洛方法的基本原理与实现方式 蒙特卡洛方法在强化学习中矗立为一座朴素而庄严的基石——它不预设模型，不依赖近似，仅凭真实交互产生的完整轨迹，便敢于直面期望值的本质。其基本原理如呼吸般简洁：既然无法解析地计算从状态 $s$ 出发、依策略 $\pi$ 行动所能获得的长期回报之期望，那就让智能体一次次出发、一次次抵达终点，在无数个“故事”的结尾处，亲手把那些沉甸甸的回报加总、平均。每一次回合（episode）都是一个独立样本，每一次终止状态的累积折扣回报 $G_t$，都是对 $Q^\pi(s_t,a_t)$ 或 $V^\pi(s_t)$ 的无偏估计。这种“以经历证真知”的方式，带着近乎固执的诚实：它拒绝猜测未发生的转移概率，也无意压缩时间维度；它耐心等待，直至因果链条完全展开，才落笔写下那个被经验反复淘洗过的数值。实现上，它只需存储每条轨迹中的状态-动作对及其对应回报，在回合结束后批量更新——没有微分，没有梯度，只有时间、次数与均值的缓慢沉淀。这看似低效的仪式感，恰恰守护了期望估计最本真的契约：无偏，且可验证。 ### 2.2 首次访问与首次访问蒙特卡洛算法的比较分析 资料中未提及“首次访问蒙特卡洛算法”的具体定义、变体名称、技术细节或与其他算法的比较依据，亦未提供关于“首次访问”与“每次访问”两类蒙特卡洛实现方式的区分标准、性能数据、适用场景或任何对比性描述。因此，基于“宁缺毋滥”原则，此处不予续写。 ## 三、总结 在强化学习中，从精确计算期望值转向基于样本的期望估计，构成了方法论演进的核心线索。蒙特卡洛方法以完整轨迹为单位实现无偏估计，但依赖回合终止；时序差分学习引入自举机制，支持在线、增量式更新；Sarsa作为同策略算法，严格依据实际执行的动作进行值函数更新；Q-learning则以异策略方式选取最优动作进行更新，具备更强的鲁棒性与理论收敛保障。四者并非替代关系，而是围绕“如何更高效、更可靠地估计期望”这一根本问题所展开的递进式探索——共同勾勒出强化学习中期望估计技术发展的主线脉络。