技术博客

清华大学提出了一种名为SAC Flow的高数据效率强化学习算法，通过将流策略建模为残差递归神经网络（residual RNN），实现了端到端的真实策略优化。该方法采用门控循环单元（GRU）和Transformer解码器两种速度参数化技术，无需依赖替代目标或策略蒸馏，显著提升了训练稳定性与数据利用效率。实验表明，SAC Flow在多个基准任务中表现出优越的性能，为强化学习中的高效策略学习提供了新思路。

Seq2Seq算法的核心在于编码器和解码器的协同工作。编码器部分通常采用循环神经网络（RNN）或其优化版本，如长短期记忆网络（LSTM）或门控循环单元（GRU），来处理输入的序列数据。这一过程将输入序列转换为一个固定大小的上下文向量，为解码器提供了必要的信息，以便生成相应的输出序列。