聊到强化学习的经典算法A3C 绝对绕不开。它全称 Asynchronous Advantage Actor-Critic异步优势演员-评论家算法是 DeepMind 在 2016 年提出的在当年一口气把 Atari 游戏的多项分数刷到人类玩家水平。现在看它像是老古董但它奠定的一系列设计思路至今仍影响着 PPO、SAC 这些主流算法。这篇博文我会以 A3C 为核心把它的设计动机、三大核心机制、实现细节、超参数调节以及和 DQN/PPO 的横向对比一次性讲透。内容参考我多年跑实验的实践经验尽量少讲推导多讲直觉和踩坑适合正在入门强化学习、想搞懂“异步到底异步在哪”的同学也适合已经跑通 DQN、想扩展算法谱系的人参考。1. A3C 的整体设计为什么“异步”是最关键的创新1.1 从 DQN 的经验回放说起一个高成本难题A3C 出现的背景是 DQN 已经在 Atari 上一战成名但所有从 DQN 继承思路的算法都卡在一个地方经验回放缓冲区。DQN 的做法是把智能体与环境交互产生的样本“状态、动作、奖励、下一状态”存进一个很大的队列训练时随机均匀地采样小批量打破样本之间的时间相关性。这个手段有效但它有代价需要大量内存存样本、需要从大缓冲区中随机读取、而且每步交互之后只更新一次网络更新频率被严重限制。我当年第一次在 2600 个游戏帧上跑 DQN 时光缓冲区就吃掉了差不多 4GB 内存训练一台机器上能跑的并行环境数量也很有限。A3C 的思路是把“破相关性”从经验回放改成“异步采样”开多个并行的环境副本每个副本配上独立的智能体各自按自己的节奏探索、交互、计算梯度然后把这些梯度汇总到同一个全局网络去更新。这样直接从根上绕开了经验回放也顺带解决了内存瓶颈。1.2 多 worker 并行数据多样性从哪来A3C 里的“异步”指的是多个 worker 同时工作在各自环境副本上。每个 worker 持有一份全局网络的参数副本实际上参数是滞后同步的在自己那一亩三分地里不断跑动作、拿奖励、算梯度然后把梯度推送到全局网络。全局网络更新完参数之后worker 再拉取最新参数继续下一轮。这个设计的精髓在于多个 worker 各自独立探索采集到的状态分布天然多样化样本之间的相关性被大幅削弱。比如某个 worker 正卡在游戏第一关反复死亡另一个 worker 可能已经摸索到了第二关的中段。这些多样化经验汇集到全局网络比单个智能体按顺序学到的经验要丰富得多。我在实际测试中用 8 个 worker 跑同一任务收敛速度差不多是单 worker 的 4 到 6 倍而且曲线更平滑很少出现训练剧烈抖动的情况。1.3 为什么抛弃经验回放反而更好经验回放看似无所不能但它有一个被刻意忽略的隐患行为策略和当前学习策略不一致。缓冲区里存的历史样本来自“旧版本”的智能体当你用这些样本更新当前网络时其实是在用别人过去的自己的行为去训练现在的自己这被称为 off-policy 偏差。DQN 用了很多技巧来缓解这个问题但一直没能根治。A3C 采用 on-policy 方式所有样本都由当前策略产生策略网络和价值网络每一步都在朝着一致的目标优化理论上梯度估计更干净。代价是样本只能使用一次不像 DQN 那样可以把同一批样本反复训练多个 epoch。为了弥补这个缺点A3C 用“多 worker 并行”来堆积样本量。这是个很好的工程权衡与其小心翼翼地清洗和重用旧数据不如直接让廉价并行的 CPU 核心去制造更多的新数据。2. 核心机制深拆Actor-Critic、优势函数与 n 步回报2.1 Actor-Critic 架构一个扮演“决策者”和“评论家”的双头网络A3C 的网络结构通常是共享底层特征提取层然后分出两个头一个叫 Actor 头输出动作概率分布策略 π(a|s)一个叫 Critic 头输出状态价值估计 V(s)。分开看Actor 负责“怎么动作”Critic 负责“这步走得值不值”。这两个头必须一起训练因为 Critic 给出的估值会反过来指导 Actor 更新的方向。我在搭网络时常用的做法是底层几层卷积或全连接作为共享编码器上面再接两个独立的全连接头分别输出动作对数概率和标量价值。注意 Actor 头最后的激活函数通常是 softmax离散动作或高斯分布的均值与方差连续动作Critic 头则纯输出一个标量不需要激活。很多新手容易在这上面踩坑把 Critic 的输出也套个 softmax结果价值估值全部被压到 0~1 区间训练彻底崩掉。2.2 优势函数A3C 为什么用“实际回报减价值估计”来指导更新A3C 的损失函数里最核心的一项不是普通的“预测奖励误差”而是优势函数 A(s,a) Q(s,a) - V(s)。它的直觉解释是如果当前状态 s 下选择动作 a 后得到的实际回报比该状态的期望价值 V(s) 高说明这个动作比平均水平好应该增加我们再选它的概率反之就降低。但 Q(s,a) 是无法直接知道的A3C 用 n 步回报来近似它。具体来说从当前时刻 t 开始往前看 n 步把前 n 步奖励按折扣因子 gamma 累加再加上第 n 步状态的估计价值。公式长这样G_t r_t gamma * r_{t1} gamma^2 * r_{t2} ... gamma^(n-1) * r_{tn-1} gamma^n * V(s_{tn})然后优势函数就是 A_t G_t - V(s_t)。这里 n 是超参数管多长时间范围内的“实际奖励”算数。n 太小只看眼前几步估计偏差大n 太大累计的方差会变高。论文里用的典型值是 5 或 20我在不同任务上测下来5 适合短视型任务比如简单控制20 更适合需要长距离规划的任务比如迷宫导航。2.3 损失函数的完整形式策略损失、价值损失、熵正则A3C 每一轮更新的总损失是三项的加权和。策略损失是优势函数乘以动作对数概率带负号求最小化相当于做策略梯度上升。价值损失是优势函数的平方或者 Huber 损失让 V(s) 越来越接近真实回报。外加一项策略熵用于鼓励探索防止策略过早陷入局部最优。用 PyTorch 写核心更新逻辑大概是这样的# 假设 log_probs 是当前动作的对数概率 # advantages 是上面公式算出的优势值 # entropy 是策略分布的熵 policy_loss -(log_probs * advantages.detach()).mean() value_loss 0.5 * advantages.pow(2).mean() entropy_loss -entropy.mean() # 负熵用于最大化熵 total_loss policy_loss value_loss * 0.5 entropy_loss * 0.01 total_loss.backward()注意这里一个容易混淆的点advantages 既是策略损失里的“权重”又是价值损失里的“目标误差”。链式法则下它同时推动了 Actor 和 Critic 两个头的更新。我在第一版实现里没对 advantages 做 detach导致梯度在计算图里来回串训练特别不稳定。做了 detach 之后一切都顺了。这个细节至少值两小时的调试时间。3. 完整实操指南从零搭一个可运行的 A3C 实例3.1 网络结构设计离散动作空间和连续动作空间的差异实战中我主要在两类环境上跑 A3C一类是 OpenAI Gym 里的 CartPole、Atari动作空间是离散的另一类是 MuJoCo 或 PyBullet 里的机械臂、运动控制动作空间是连续的。网络结构差异主要在于 Actor 头的输出离散动作空间下Actor 头输出一个维度等于动作数的向量经过 softmax 变成概率分布。连续动作空间下Actor 头输出每个动作维度的均值 μ 和标准差 σ或者对数标准差然后从 N(μ, σ²) 采样得到实际动作同时计算该动作的对数概率用于训练。这里我建议用高斯分布动作采样和 log_prob 计算可以这样写import torch import torch.nn as nn import torch.distributions as dist class ContinuousActor(nn.Module): def __init__(self, state_dim, action_dim, hidden256): super().__init__() self.fc1 nn.Linear(state_dim, hidden) self.fc2 nn.Linear(hidden, hidden) self.mean nn.Linear(hidden, action_dim) self.log_std nn.Parameter(torch.zeros(action_dim)) def forward(self, x): x torch.relu(self.fc1(x)) x torch.relu(self.fc2(x)) mean self.mean(x) std torch.exp(self.log_std.clamp(-20, 2)) return dist.Normal(mean, std) def get_action(self, x): pi self.forward(x) action pi.sample() log_prob pi.log_prob(action).sum(dim-1) return action, log_prob这里 clamp 到 [-20,2] 非常重要否则一旦 log_std 爆炸标准差变成 NaN整个训练直接崩我踩过这个坑。3.2 异步框架实现多线程 worker 的关键细节A3C 的异步训练框架技术上并不复杂就是开多个 Python 线程每个线程跑一个环境副本循环执行三步采集经验、计算局部梯度、把梯度传给全局网络。PyTorch 里通过共享模型参数的 .grad 字段来实现跨线程梯度累积。每个 worker 不是直接更新全局模型而是拿着全局模型的参数副本做前向和反向得到梯度后复制给全局模型参数的 grad再调用全局优化器 step。需要注意多线程下梯度累积要加锁保护。PyTorch 的 optimizer.zero_grad() 和 optimizer.step() 并不是线程安全的如果不加锁会出现梯度被覆盖、参数更新不一致的问题。我在参考实现里一般让全局网络专门持有一个 threading.Lockstep 之前先获取锁更新完再释放这样最省心也最稳。同时每个 worker 要在固定的步数间隔内同步参数。做法是worker 复制全局网络的参数到自己的本地网络然后连续跑 N 步比如 20 步计算累积梯度再推回全局网络。这里 N 其实就是 n 步回报里的 n收敛性能和稳定性受它影响很大。3.3 超参数推荐表和收敛性调试心得下面这张表是我在不同任务上反复试过的 A3C 常用参数可以直接作为基线来用参数推荐值说明worker 数量8~16小于 4 效果差超过 32 边际收益下降n 步回报长度5~20简单任务选 5长程任务选 20折扣因子 gamma0.99与 DQN 保持一致即可学习率7e-4 (RMSProp)用 Adam 时调低到 3e-4熵系数0.01连续控制可以适当增大到 0.02价值损失系数0.5论文里的标准值梯度裁剪最大范数 40防止梯度爆炸RMSProp alpha0.99论文用的是 alpha0.99RMSProp epsilon1e-5过大过小均不稳定关于学习率和优化器的选择很多初学者习惯性的用 Adam这没错但 A3C 论文当年用的是 RMSProp 并且设了一个相对较高的学习率。我在实践中的对比是Adam 更稳定但 RMSProp 在 Atari 上收敛上限略高。如果你是跑新环境建议先上 Adam 快速验证逻辑再换 RMSProp 调上限。梯度裁剪也很重要多 worker 并行会导致某些 worker 在特定帧上计算出的梯度特别大不裁剪的话全局参数会被猛地推走前几轮训练白费。最大范数 40 是我常用的值如果你发现 loss 曲线经常有尖刺可以试着往低了调。3.4 实际训练命令与日志解读整套实现完成后训练脚本的伪代码结构大致如下python train_a3c.py --envCartPole-v1 --num_workers8 --n_steps20 --lr7e-4模拟运行中我最常观察的指标是全局网络每个 worker 推回梯度后的平均 reward 值。训练 CartPole 时大约几百轮之后智能体就能稳定跑满 500 步训练 Atari 的 Pong 时通常需要数小时才能看到明显提升。当 Mean Reward 长期停滞不动我第一反应不是加学习率而是检查熵是否变成 0——如果熵太大说明策略还在乱探索如果熵为 0说明策略已经固化再训练也不会改变了。4. 横向对比A3C 和 DQN、PPO 到底是什么关系4.1 血缘关系A3C 是 on-policy 的DQN 是 off-policy 的前面提到A3C 的一切样本都来自当前策略是严格的 on-policy 算法。DQN 则完全依赖历史经验回放是 off-policy 算法。这是两者最本质的分界线。A3C 对探索和利用的平衡是通过多 worker 并行实现的DQN 则靠 epsilon-greedy 或者噪声网络来实现。两者一个靠数量堆数据一个靠质量重复用数据思路截然不同。我自己的体会是DQN 在小规模时间步内更吃内存但每一步计算量低A3C 每一步都要做完整前向反向计算量大得多但因为并行墙钟时间更短。打个比方DQN 像一个学生反复读同一本教材直到背熟A3C 像一群学生同时读不同章节的教材然后互相分享笔记。单个人没有另一个人透彻但一群人集成后整体效率非常高。4.2 谁取代了谁从 A3C 到 A2C 再到 PPO 的演进A3C 推出一年后OpenAI 做了一个有意思的消融实验发现把异步方式替换成同步方式即所有 worker 算完梯度后统一累加、统一更新效果反而更好且实现更简单。这个同步版本被称为 A2CAdvantage Actor-Critic。原因是同步版本下梯度更稳定不会出现某个 worker 滞后参数导致的异常梯度。再之后PPO 用裁剪代理目标函数用一小批样本多次更新取代了 A3C 中“更新一次就扔掉样本”的窘境采样效率大幅提升。所以在今天的强化学习项目里PPO 几乎全面取代了 A3C 的生态位。但我不建议完全绕过 A3C因为 A3C 对理解策略梯度、价值函数、并行训练之间的关系帮助太大了。PPT 和论文里吹得再玄乎都不如亲手调一次 A3C 的损失函数来得直观。4.3 A3C 的缺点哪些场景下不该用它A3C 的缺点也相当明确。首先它对 CPU 核心数要求高worker 太少效果奇差如果你只有两个核跑 A3C 还不如跑 A2C。其次它没有经验回放样本利用率低在真实机器人实验这类采样昂贵场景下完全不可用。第三异步参数更新会引起一定程度的策略滞后性灵活性不如同步方法。如果你要做机械臂真实操控、高采样成本任务我建议直接用 SAC、TD3 或 PPO如果只是为了学习算法原理、复现论文实验A3C 依然是极好的素材。5. 常见问题与调试技巧实录5.1 训练不收敛先看熵、再看优势、最后看网络我在多个项目里反复遇到“跑了几个小时后 reward 依然在原地画圈”排查顺序基本固定。第一步是打印策略熵如果熵一直维持在高位说明策略始终在随机探索训练信号没传导过来我会把学习率调大一倍或者检查 reward 归一化。第二步看优势函数如果绝大部分优势值都是 0 附近波动说明 Critic 估值已经很强梯度信号太小我会调大熵系数或者价值损失系数。第三步检查网络层数是不是太深A3C 并不需要特别深的网络过深反而会导致梯度消失。5.2 多线程环境下共享参数更新错乱这是 Python 多线程最容易踩的坑。原本我图省事让每个 worker 直接改全局网络参数的 data不加锁结果训练曲线每隔几十轮就出现一次断崖式下跌。后来加了锁并对梯度做标准化问题就消失了。另外如果你用的是 PyTorch尽量让每个 worker 拥有独立的优化器状态尤其是 RMSProp 的动量缓冲否则多线程同时更新会互相干扰。我的做法是全局网络只保留一份优化器让 worker 只负责计算梯度推回全局后由主线程统一执行 step。5.3 常见问题速查表症状可能原因解决方法Loss 出现 NaNlog_std 未 clamp、学习率过高clamp 到 [-20, 2]降低学习率策略熵长期为零熵系数太小、探索不足调大熵系数到 0.02 再试Reward 曲线剧烈震荡缺少梯度裁剪、n 步回报太长加梯度裁剪n 步改小到 5多 worker 训练比单 worker 还慢Python 线程的 GIL 限制、环境本身太慢改用 multiprocessing 或提升 CPU 核心数Value loss 一直很大奖励尺度差异大、未做归一化对 reward 做 scaled除以标准差训练后期 Reward 突然崩掉学习率过大、策略陷入次优启用学习率衰减、周期性重置局部探索噪声5.4 一个不常被提到的工程技巧reward 实时归一化A3C 对 reward 的尺度非常敏感。如果环境奖励范围是 [0, 1000]而价值网络输出在 [0, 1] 范围损失函数会被疯狂拉大训练一开始就发散。我当时跑连续控制任务时每次交互后没有做任何归一化结果策略在第一步更新后就直接变成 NaN。建议做法是在线计算有效奖励的均值和标准差实时对 reward 做标准化处理这能让价值网络学习的压力小很多。对 Atari 这类稀疏奖励任务还需要把奖励 clip 到 [-1, 1]这是所有 DQN 系算法继承下来的习惯A3C 同样适用。6. 写在最后A3C 在当下还有哪些场景可以发光虽然行业主流已经转向 PPO、SAC、TD3但 A3C 的思路在某些特殊场景依然有不可替代的价值。比如资源受限的嵌入式设备上不方便做大规模经验回放时多 worker 异步采样就能用最省内存的方式完成训练。再比如在线学习场景里环境不断变化经验回放会导致历史行为缓存失效此时用一个全局网络被多个实时 worker 轮询更新就是天然的“秒级适应”机制。我个人在实际使用中的体会是A3C 最适合当“算法解剖课”。它结构清晰没有 PPO 裁剪目标那种复杂的技巧把策略梯度、价值函数、on-policy 更新这些核心概念都能通过几百行代码清晰呈现。如果你还在为 PPO 的 clip 机制一头雾水不妨先回头把 A3C 跑通理顺了“策略、动作、回报、价值、优势”这条链路再回头看 PPO 就豁然开朗了。算法不是越新越好理解才是第一位的。