简介面向强化学习初学者与进阶开发者这份压缩包为在 Python 中实践强化学习算法提供了完整参考覆盖从马尔可夫决策过程、Q学习到深度Q网络、策略梯度、演员-评论家等深度强化学习方法的代码实现与理论说明适合游戏AI、机器人控制、资源调度等场景学习与项目复现。包内共384个文件以Python脚本、文本说明、TensorFlow事件文件等为主还包括模型权重、图表、Markdown文档、数据文件及配置文件整体约86.26MB目录结构清晰便于按模块查阅。目前已有193人浏览学习。资源里既提供可直接运行的算法代码也附带环境模拟器接口、训练结果可视化工具和记录学习曲线的TensorBoard日志文档部分则解释代码结构与基础理论能够帮助读者系统掌握从经典强化学习到深度强化学习的实现思路并通过调试优化提升智能体性能是一份可动手上手的实战型资料。 说实话我见过太多人学强化学习的时候算法推导画了一整页纸结果一到自己写代码连一个最基础的gym环境都跑不通。这不是算法没学会而是从公式到实现之间的实操细节几乎没有人系统讲过。这篇文章我打算以强化学习代码实现以及文档说明为主线把我在实际项目里验证过的一条完整路线讲清楚——任务如何变成环境接口actor-critic网络和rollout采集怎么写训练循环里哪些参数最容易让你怀疑人生以及最后那一份让项目真正可复现的文档说明到底应该包含什么。如果你刚接触深度强化学习这篇能帮你把PPO这类算法从看得懂公式推进到能真正跑起来如果你已经跑通过现成库、想自己写一套可控的训练代码那里面提到的很多坑也都是我实际踩过的。后面我还会用基于强化学习的PID控制和机械臂逆向运动学两个案例把从仿真训练到C部署的整个路径串起来。1. 动手写代码前先把任务定义翻译成环境接口1.1 环境接口是强化学习的交互主板写强化学习代码很多人一上来就找算法库这个顺序其实是反的。不管PPO还是SAC算法最终只关心一件事给它一个观测它给一个动作然后拿到下一个观测和奖励。这个循环只要通了后面的网络结构、loss函数、调参技巧才有意义。所以代码实现的第一步是把自己的任务按照gymnasium的Env接口封装起来。gymnasium的接口其实就几个核心方法reset()返回初始观测step(action)返回下一个观测、奖励、是否结束、额外信息。如果你要做一个倒立摆、机械臂控制或者PID参数整定任务最朴素的做法都是先实现这样一个类import gymnasium as gym from gymnasium import spaces import numpy as np class SimpleBalanceEnv(gym.Env): def __init__(self): super().__init__() self.observation_space spaces.Box( low-1.0, high1.0, shape(4,), dtypenp.float32 ) self.action_space spaces.Box( low-2.0, high2.0, shape(1,), dtypenp.float32 ) self.state None def reset(self, *, seedNone, optionsNone): super().reset(seedseed) self.state np.zeros(4, dtypenp.float32) return self.state, {} def step(self, action): # 这里写你的系统动力学或仿真更新逻辑 self.state self.state 0.01 * action reward -float(np.sum(self.state ** 2)) terminated False truncated False return self.state, reward, terminated, truncated, {}这个骨架看起来很基础但实际项目里最容易出问题的地方恰恰在这里。我自己的项目里就被observation_space的范围坑过如果某个维度写成[-inf, inf]部分算法在计算分布归一化时会出现奇怪的数值如果action_space的dtype是float64而网络输出是float32训练时又会冒出类型不匹配的报错还特别难排查。所以环境接口的每一行都应该尽量明确观测的每个分量物理上是什么范围动作的每个分量是连续量还是离散量。环境写完之后我建议第一时间用一个随机策略去跑几十步把观测和奖励的分布打印出来。这一步几乎不花时间但能提前发现绝大多数接口问题比如状态更新写反、奖励爆炸成NaN、action的下界比上界还大。很多人后面训练失败浪费一整天回头一看都是这种低级问题。1.2 奖励函数写多了是灾难写少了是玄学环境接口里对训练效果影响最大的其实是奖励。很多教程会告诉你奖励设计很重要但很少告诉你它具体怎么影响行为。我举一个真实例子倒立摆任务。如果只按角度偏差给奖励agent会很快学会一种疯狂抖动的解法虽然表象上也在维持平衡实际上是在钻奖励函数的空子这就是常说的reward hacking。规避reward hacking的办法不是把奖励设计得越来越精细而是尽量直接使用任务本身天然提供的信号。比如机械臂抓取任务直接用末端到目标的距离PID整定任务直接用误差平方的负值。这些信号来自物理过程的自然反馈agent很难通过取巧来刷分。相反如果你在上面叠加一堆动作要平滑、加速度要小这类人为惩罚项每一项都是在引导agent走一条你可能没想到过的路径。还有一点很容易被忽略奖励的尺度。同一个任务奖励值如果普遍在几百上千的量级而另一个任务的奖励在0到1之间那它们对学习率的要求是完全不同的。碰到训练不收敛先看一下reward的统计分布如果均值特别大或者方差特别大建议先做reward scaling或者直接使用环境本身的原始奖励再看训练曲线。这也是我在做基于强化学习的PID控制案例时踩过的坑——一开始把误差平方当成奖励量级动辄几百loss直接冲高爆掉后来改成对误差做归一化训练才恢复正常。2. Actor-Critic 代码骨架策略网络、价值网络和 rollout 采集2.1 网络结构怎么定决定了探索能力的上限现在单智能体算法里PPO几乎是默认选择因为超参数没那么敏感、实现又相对简单。而PPO这类actor-critic算法的核心是同时维护两个网络策略网络actor负责输出动作分布价值网络critic负责估计状态价值。两者可以共享一部分特征提取层也可以完全独立具体看任务复杂度。这里有个新手最容易忽略的点actor网络不是直接输出动作而是输出一个概率分布的参数。对于连续动作空间通常输出均值mean和一个log_std参数两者一起构成高斯分布再从分布里采样得到动作。代码骨架大概长这样import torch import torch.nn as nn import torch.nn.functional as F class ActorCritic(nn.Module): def __init__(self, obs_dim, act_dim): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, 256), nn.Tanh(), nn.Linear(256, 256), nn.Tanh(), ) self.actor_mean nn.Linear(256, act_dim) self.actor_log_std nn.Parameter(torch.zeros(act_dim)) self.critic nn.Linear(256, 1) def get_dist(self, obs): h self.shared(obs) mean self.actor_mean(h) std torch.exp(self.actor_log_std.clamp(-2.0, 0.5)) return torch.distributions.Normal(mean, std) def forward(self, obs): value self.critic(self.shared(obs)) return value为什么是输出分布而不是直接用mean当动作因为强化学习需要探索如果actor只输出一个确定动作训练基本就退化成了贪心搜索。log_std的初始值也很讲究设置得太小探索不足策略很容易陷入局部最优设置得太大策略更新噪音太大收敛慢。我实际训练时会像上面那样把log_std限制在[-2.0, 0.5]之间防止它跑到极端分布区域。网络层数不是越多越好。对于大多数控制类任务两个256维的隐藏层已经非常够了。机械臂这种高维状态空间可以加到512或者上CNN/Transformer但那是后话。先把小网络跑通再去堆容量否则调参时你会分不清是网络容量不够还是训练流程有问题。2.2 收集rollout数据的正确姿势rollout这个过程说人话就是让当前策略和环境交互一段轨迹把每一步的观测、动作、log概率、奖励、是否结束全部存下来。代码往往不起眼但它决定了后续训练数据的质量。一个典型实现长这样obs, _ env.reset() for step in range(steps_per_rollout): with torch.no_grad(): dist agent.get_dist(obs) action dist.sample() log_prob dist.log_prob(action).sum(-1) next_obs, reward, terminated, truncated, info env.step(action.cpu().numpy()) buffer.store(obs, action, log_prob, reward, terminated) obs next_obs这里有几个细节值得强调。sample()一定要包在torch.no_grad()里否则采样路径会被加入计算图显存直接爆炸。buffer里存的是log_prob不是动作概率本身因为后面PPO更新要计算新旧策略的比值需要log概率。另外terminated和truncated一定要区分真正完成任务是terminated因为超时被截断是truncated两者在GAE计算里的处理方式完全不同混在一起会让优势估计乱掉。还有一个更隐蔽的坑机器人环境的动作通常有上下限step()内部会对动作做clip但你在buffer里存的action是clip之前的还是之后的值在仿真阶段区别不大但从仿真转到实物部署这个不一致会导致策略在真实设备上表现完全走样。所以我的习惯是一切进入环境实际执行的action都以环境接收后的版本为准然后再用它去算log概率保证数据一致性。如果你留意到热词里有人搜使用C训练强化学习actor-critic我的建议是不要一上来就在C里写整套训练逻辑。C的数值库和自动求导生态虽然已经不错但调试成本高很多。最稳妥的路线是Python里完成训练和验证导出模型参数然后在C里实现前向推理和部署。如果真的需要在C里训练优先考虑LibTorch但做好心理准备调试体验和Python完全不是一个量级。3. 训练循环里的稳定性细节GAE、clip、熵正则的实战调参3.1 GAE为什么容易算爆以及正确的计算顺序GAE广义优势估计几乎是PPO的标配作用是把一条轨迹上的奖励逐步回溯成每个时间步的优势让策略知道哪些动作比平均水平更好。计算公式看着不复杂但实现时细节非常多def compute_gae(rewards, values, dones, gamma0.99, lam0.95): advantages torch.zeros_like(rewards) gae 0.0 next_value 0.0 for t in reversed(range(len(rewards))): delta rewards[t] gamma * next_value * (1 - dones[t]) - values[t] gae delta gamma * lam * (1 - dones[t]) * gae advantages[t] gae next_value values[t] return advantages这里的values必须是价值网络在torch.no_grad()下输出的结果而且不能在计算图里累积梯度。新手最常见的报错就是values带着梯度进入这个循环导致整个反向传播的图异常复杂显存直接爆掉。dones的处理也很关键如果当前步dones[t]1说明一个episode结束了下一步的价值应该置零也就是代码里的(1 - dones[t])否则会把下一个全新episode的价值错误地算进当前episode里。gamma控制长期回报的权重lam控制偏差和方差的折中。这两个参数不是拍脑袋定的gamma越接近1策略越看重远期收益适合目标在很远的任务lam越大优势估计的方差越大但偏差较小。我实际跑控制类任务时gamma0.99, lam0.95是一个非常稳的起点基本不用大动。3.2 PPO更新里的ratio、clip和熵正则GAE算完之后就到了PPO的核心更新逻辑。它的目标函数核心是新旧策略的比值再用clip限制单次更新的步子不能迈太大ratio torch.exp(new_log_prob - old_log_prob) surr1 ratio * advantage surr2 torch.clamp(ratio, 1.0 - clip_eps, 1.0 clip_eps) * advantage policy_loss -torch.min(surr1, surr2).mean() entropy dist.entropy().mean() value_loss F.mse_loss(new_value, returns) total_loss policy_loss 0.5 * value_loss - 0.01 * entropy每个符号背后都有讲究。ratio超过1 clip_eps说明新策略在这个动作上比旧策略激进太多要被clip拦住防止一步更新把策略推到悬崖边。value loss通常带一个0.5系数让价值网络别跟得那么着急。entropy项是鼓励探索的它前面的系数虽然小但影响很大。如果看到训练早期熵值快速掉到接近0基本可以断定策略陷入了局部最优。这时候最有效的做法是加大entropy系数到0.05甚至0.1或者把log_std的下界从-2.0放宽到-1.0让探索更充分一些。反过来如果训练一直很随机、回报曲线贴着0走说明探索太过了把entropy系数降到0.001以下。这个系数没有一个通用最优值但看完训练曲线再调是唯一靠谱的路线。3.3 训练不收敛时的快速排查清单我自己训练过程中遇到不收敛很少直接去动网络结构而是先按一个固定顺序排查问题这里整理成一张表供你参考症状可能原因处理方式loss直接变成NaNreward或advantage里有Inf检查奖励是否溢出对advantage做标准化策略回报忽高忽低学习率太大降到3e-4量级观察曲线是否变平滑训练卡住但熵持续下降探索不足、局部最优提高entropy系数放宽log_std范围value loss居高不下GAE的dones处理错误或奖励尺度太大检查truncated/terminated是否区分做reward归一化单步更新后策略剧烈变化没有做gradient clipping加torch.nn.utils.clip_grad_norm_(params, max_norm0.5)其中advantage标准化是我强烈建议加的一行advantages (advantages - advantages.mean()) / (advantages.std() 1e-8)。这行代码单独跑不会改变相对大小但能显著提升数值稳定性。很多人在小任务上离了它能跑一换到大规模任务就崩加了之后往往会稳很多。4. 文档说明让三个月后的自己和同事都能快速接手的写作方法4.1 README是项目的门面也是给未来的自己留的提示标题里文档说明四个字分量很重但被太多人忽略了。代码写得再漂亮三个月后你自己都未必记得当初为什么这么设计。我的习惯是项目一开始就写README然后随代码同步更新。一个及格的强化学习项目README至少应该包含这些部分# 项目名称 一句话说明这个项目解决了什么问题用了什么算法。 ## 环境依赖 - Python 3.10 - gymnasium 0.29 - torch 2.0 - 安装命令pip install -r requirements.txt ## 快速开始 - 训练python train.py --config configs/ppo_balance.yaml - 评估python evaluate.py --checkpoint checkpoint/ppo_balance.pt ## 配置文件说明 - gamma0.99: 折扣因子 - lam0.95: GAE lambda参数 - clip_eps0.2: PPO clip范围 ## 结果 - 训练曲线截图 - 最终测试回报 - 复现结果的操作步骤很多人觉得README是给别的看的其实它最大的作用是让未来的自己能在十分钟内接上手。我见过不止一次实验做完了、代码扔在一个命名为final_v2_really_final的文件夹里等过两个月想重新跑一下连参数都要猜半天。这种时间的浪费远比当时写文档花掉的那半小时多。4.2 注释只写为什么不写是什么代码注释这件事我的原则很明确只注释为什么这么做不注释这行代码在做什么。比如gamma * next_value * (1 - dones[t])如果注释写计算折扣价值那等于没写如果写这里必须用(1-dones)把终局后的价值清零否则会串episode这个注释才有真正的价值。对于强化学习项目还有一类特别值得注释的内容超参数的选择依据。比如clip_eps0.2如果你经过实验发现0.1时训练更稳但慢0.3时波动大但上限高你把这句话写进注释能帮未来的自己省掉重新做一遍实验的时间。这类实验结论型注释是普通代码注释之外强化学习项目独有的财富。超参数本身我建议集中放在yaml或dataclass配置里不要在代码各处散落魔法数字。一个小技巧是每次实验保存模型checkpoint时把对应的超参数json一起保存。这样回头分析结果时模型文件本身就是完整的实验记录不用再去翻历史代码。4.3 实验记录训练曲线之外还需要一张结果表强化学习的实验结果如果只保留一张loss曲线很多信息是丢失的。我现在的习惯是每个项目维护一个简单的实验记录表记录日期、算法、环境、关键超参数、最终回报、以及备注。格式不需要复杂Markdown表格就够用日期算法环境学习率最终回报备注2025-01-10PPOPendulum-v13e-4-180基础版本2025-01-11PPOPendulum-v11e-3-320学习率太大不稳定这样记的好处是等你想对比不同方案时不需要重新跑实验直接看表格就能定位问题。如果你想记录得更细可以接wandb或者tensorboard但别忘了它们只是记录工具真正做决策的还是你自己。文档的本质是降低决策成本无论是给未来的自己还是给团队里的其他人。5. 一个案例串起来的完整路径从仿真训练到部署验证5.1 用基于强化学习的PID控制练手最合适如果你只想通过一个项目把整条链路打通我强烈推荐基于强化学习的PID控制。这个任务的被控对象可以是电机、水箱或者一个简单的温控系统动作是控制器输出或PID参数奖励直接用误差平方的负值。状态空间小、可解释性强、训练速度快特别适合验证代码框架是否正确。我当时的做法是用离散传递函数模拟被控对象封装成gym环境用PPO训练一个控制器。第一步用固定PID参数生成随机扰动数据观察环境是否稳定第二步用随机策略跑200步确认观测和奖励范围合理第三步才改上PPO。整个过程也就一个晚上但把环境封装、rollout、GAE、PPO更新、checkpoint保存、文档记录全部跑通了。后面再上机械臂、无人机只需要替换环境和网络结构训练主流程几乎不用动。5.2 机械臂逆向运动学、MuJoCo和PPO的常见组合机械臂逆向运动学IK是另一个很适合进阶的方向。你可以把IK问题当成强化学习任务观测是机械臂当前关节角和目标末端位置动作是关节角的增量奖励是末端离目标距离的负值。MuJoCo提供了支持接触和物理仿真的环境配合PPO可以完成从关节空间直接学习末端跟踪的策略。但这个案例比PID控制器复杂很多最明显的问题是稀疏奖励和局部最优。距离奖励虽然连续但机械臂自由度一高初期随机探索很难离目标足够近。我实际的做法是先用运动学逆解给一小段专家轨迹做演示或者对距离设定一个阈值超过阈值给额外奖励把agent先引到目标附近。这里要注意专家引导的比例要逐步降低否则策略永远学不会自己探索。训练完成后把PyTorch模型权重导出为TorchScript再用LibTorch在C里加载并做前向推理。这一步对接的是热词里提到的C部署场景。Python训练、C推理这套流程能兼顾开发效率和部署性能。如果你非要在C里做整个训练流程那就要自己管理rollout存储、自动求导和优化器工程量会翻好几倍除非有很强的理由我不建议这么做。5.3 后面可以往哪些方向延展一旦你已经具备定义环境、实现PPO、训练稳定、写清文档这套基本功后面的路就宽了。可以往多智能体强化学习方向走研究多个agent之间的协作和竞争可以做基于模型的强化学习让agent利用学到的动力学模型减少真实交互次数也可以考虑离线强化学习比如IQL利用已有数据集训练策略避免在线采样成本。无人机控制是深度强化学习应用里的一个热门落地方向但实物部署的坑比仿真更多状态估计噪声、通信延迟、安全边界每一项都可能让仿真里稳定的策略在真机上失效。我个人的建议是仿真到实物的跨越应该从最保守的设置开始先做半实物测试再逐步放开边界。这个过程里前期写好的文档说明会救你命——它能帮你快速定位哪些参数来自仿真假设、哪些来自真实平台标定而不是靠记忆一点点猜。如果现在有人问我强化学习代码实现的起步建议我会说先别追求算法多新、网络多大找一个像PID控制这样的小任务把环境、算法、训练、文档这四件事完整跑一遍。这个过程里收获的调试直觉和工程习惯比多学十个算法都管用。本文还有配套的精品资源点击获取 强化学习代码实战：从gym环境到PPO训练与C++部署全流程
简介面向强化学习初学者与进阶开发者这份压缩包为在 Python 中实践强化学习算法提供了完整参考覆盖从马尔可夫决策过程、Q学习到深度Q网络、策略梯度、演员-评论家等深度强化学习方法的代码实现与理论说明适合游戏AI、机器人控制、资源调度等场景学习与项目复现。包内共384个文件以Python脚本、文本说明、TensorFlow事件文件等为主还包括模型权重、图表、Markdown文档、数据文件及配置文件整体约86.26MB目录结构清晰便于按模块查阅。目前已有193人浏览学习。资源里既提供可直接运行的算法代码也附带环境模拟器接口、训练结果可视化工具和记录学习曲线的TensorBoard日志文档部分则解释代码结构与基础理论能够帮助读者系统掌握从经典强化学习到深度强化学习的实现思路并通过调试优化提升智能体性能是一份可动手上手的实战型资料。 说实话我见过太多人学强化学习的时候算法推导画了一整页纸结果一到自己写代码连一个最基础的gym环境都跑不通。这不是算法没学会而是从公式到实现之间的实操细节几乎没有人系统讲过。这篇文章我打算以强化学习代码实现以及文档说明为主线把我在实际项目里验证过的一条完整路线讲清楚——任务如何变成环境接口actor-critic网络和rollout采集怎么写训练循环里哪些参数最容易让你怀疑人生以及最后那一份让项目真正可复现的文档说明到底应该包含什么。如果你刚接触深度强化学习这篇能帮你把PPO这类算法从看得懂公式推进到能真正跑起来如果你已经跑通过现成库、想自己写一套可控的训练代码那里面提到的很多坑也都是我实际踩过的。后面我还会用基于强化学习的PID控制和机械臂逆向运动学两个案例把从仿真训练到C部署的整个路径串起来。1. 动手写代码前先把任务定义翻译成环境接口1.1 环境接口是强化学习的交互主板写强化学习代码很多人一上来就找算法库这个顺序其实是反的。不管PPO还是SAC算法最终只关心一件事给它一个观测它给一个动作然后拿到下一个观测和奖励。这个循环只要通了后面的网络结构、loss函数、调参技巧才有意义。所以代码实现的第一步是把自己的任务按照gymnasium的Env接口封装起来。gymnasium的接口其实就几个核心方法reset()返回初始观测step(action)返回下一个观测、奖励、是否结束、额外信息。如果你要做一个倒立摆、机械臂控制或者PID参数整定任务最朴素的做法都是先实现这样一个类import gymnasium as gym from gymnasium import spaces import numpy as np class SimpleBalanceEnv(gym.Env): def __init__(self): super().__init__() self.observation_space spaces.Box( low-1.0, high1.0, shape(4,), dtypenp.float32 ) self.action_space spaces.Box( low-2.0, high2.0, shape(1,), dtypenp.float32 ) self.state None def reset(self, *, seedNone, optionsNone): super().reset(seedseed) self.state np.zeros(4, dtypenp.float32) return self.state, {} def step(self, action): # 这里写你的系统动力学或仿真更新逻辑 self.state self.state 0.01 * action reward -float(np.sum(self.state ** 2)) terminated False truncated False return self.state, reward, terminated, truncated, {}这个骨架看起来很基础但实际项目里最容易出问题的地方恰恰在这里。我自己的项目里就被observation_space的范围坑过如果某个维度写成[-inf, inf]部分算法在计算分布归一化时会出现奇怪的数值如果action_space的dtype是float64而网络输出是float32训练时又会冒出类型不匹配的报错还特别难排查。所以环境接口的每一行都应该尽量明确观测的每个分量物理上是什么范围动作的每个分量是连续量还是离散量。环境写完之后我建议第一时间用一个随机策略去跑几十步把观测和奖励的分布打印出来。这一步几乎不花时间但能提前发现绝大多数接口问题比如状态更新写反、奖励爆炸成NaN、action的下界比上界还大。很多人后面训练失败浪费一整天回头一看都是这种低级问题。1.2 奖励函数写多了是灾难写少了是玄学环境接口里对训练效果影响最大的其实是奖励。很多教程会告诉你奖励设计很重要但很少告诉你它具体怎么影响行为。我举一个真实例子倒立摆任务。如果只按角度偏差给奖励agent会很快学会一种疯狂抖动的解法虽然表象上也在维持平衡实际上是在钻奖励函数的空子这就是常说的reward hacking。规避reward hacking的办法不是把奖励设计得越来越精细而是尽量直接使用任务本身天然提供的信号。比如机械臂抓取任务直接用末端到目标的距离PID整定任务直接用误差平方的负值。这些信号来自物理过程的自然反馈agent很难通过取巧来刷分。相反如果你在上面叠加一堆动作要平滑、加速度要小这类人为惩罚项每一项都是在引导agent走一条你可能没想到过的路径。还有一点很容易被忽略奖励的尺度。同一个任务奖励值如果普遍在几百上千的量级而另一个任务的奖励在0到1之间那它们对学习率的要求是完全不同的。碰到训练不收敛先看一下reward的统计分布如果均值特别大或者方差特别大建议先做reward scaling或者直接使用环境本身的原始奖励再看训练曲线。这也是我在做基于强化学习的PID控制案例时踩过的坑——一开始把误差平方当成奖励量级动辄几百loss直接冲高爆掉后来改成对误差做归一化训练才恢复正常。2. Actor-Critic 代码骨架策略网络、价值网络和 rollout 采集2.1 网络结构怎么定决定了探索能力的上限现在单智能体算法里PPO几乎是默认选择因为超参数没那么敏感、实现又相对简单。而PPO这类actor-critic算法的核心是同时维护两个网络策略网络actor负责输出动作分布价值网络critic负责估计状态价值。两者可以共享一部分特征提取层也可以完全独立具体看任务复杂度。这里有个新手最容易忽略的点actor网络不是直接输出动作而是输出一个概率分布的参数。对于连续动作空间通常输出均值mean和一个log_std参数两者一起构成高斯分布再从分布里采样得到动作。代码骨架大概长这样import torch import torch.nn as nn import torch.nn.functional as F class ActorCritic(nn.Module): def __init__(self, obs_dim, act_dim): super().__init__() self.shared nn.Sequential( nn.Linear(obs_dim, 256), nn.Tanh(), nn.Linear(256, 256), nn.Tanh(), ) self.actor_mean nn.Linear(256, act_dim) self.actor_log_std nn.Parameter(torch.zeros(act_dim)) self.critic nn.Linear(256, 1) def get_dist(self, obs): h self.shared(obs) mean self.actor_mean(h) std torch.exp(self.actor_log_std.clamp(-2.0, 0.5)) return torch.distributions.Normal(mean, std) def forward(self, obs): value self.critic(self.shared(obs)) return value为什么是输出分布而不是直接用mean当动作因为强化学习需要探索如果actor只输出一个确定动作训练基本就退化成了贪心搜索。log_std的初始值也很讲究设置得太小探索不足策略很容易陷入局部最优设置得太大策略更新噪音太大收敛慢。我实际训练时会像上面那样把log_std限制在[-2.0, 0.5]之间防止它跑到极端分布区域。网络层数不是越多越好。对于大多数控制类任务两个256维的隐藏层已经非常够了。机械臂这种高维状态空间可以加到512或者上CNN/Transformer但那是后话。先把小网络跑通再去堆容量否则调参时你会分不清是网络容量不够还是训练流程有问题。2.2 收集rollout数据的正确姿势rollout这个过程说人话就是让当前策略和环境交互一段轨迹把每一步的观测、动作、log概率、奖励、是否结束全部存下来。代码往往不起眼但它决定了后续训练数据的质量。一个典型实现长这样obs, _ env.reset() for step in range(steps_per_rollout): with torch.no_grad(): dist agent.get_dist(obs) action dist.sample() log_prob dist.log_prob(action).sum(-1) next_obs, reward, terminated, truncated, info env.step(action.cpu().numpy()) buffer.store(obs, action, log_prob, reward, terminated) obs next_obs这里有几个细节值得强调。sample()一定要包在torch.no_grad()里否则采样路径会被加入计算图显存直接爆炸。buffer里存的是log_prob不是动作概率本身因为后面PPO更新要计算新旧策略的比值需要log概率。另外terminated和truncated一定要区分真正完成任务是terminated因为超时被截断是truncated两者在GAE计算里的处理方式完全不同混在一起会让优势估计乱掉。还有一个更隐蔽的坑机器人环境的动作通常有上下限step()内部会对动作做clip但你在buffer里存的action是clip之前的还是之后的值在仿真阶段区别不大但从仿真转到实物部署这个不一致会导致策略在真实设备上表现完全走样。所以我的习惯是一切进入环境实际执行的action都以环境接收后的版本为准然后再用它去算log概率保证数据一致性。如果你留意到热词里有人搜使用C训练强化学习actor-critic我的建议是不要一上来就在C里写整套训练逻辑。C的数值库和自动求导生态虽然已经不错但调试成本高很多。最稳妥的路线是Python里完成训练和验证导出模型参数然后在C里实现前向推理和部署。如果真的需要在C里训练优先考虑LibTorch但做好心理准备调试体验和Python完全不是一个量级。3. 训练循环里的稳定性细节GAE、clip、熵正则的实战调参3.1 GAE为什么容易算爆以及正确的计算顺序GAE广义优势估计几乎是PPO的标配作用是把一条轨迹上的奖励逐步回溯成每个时间步的优势让策略知道哪些动作比平均水平更好。计算公式看着不复杂但实现时细节非常多def compute_gae(rewards, values, dones, gamma0.99, lam0.95): advantages torch.zeros_like(rewards) gae 0.0 next_value 0.0 for t in reversed(range(len(rewards))): delta rewards[t] gamma * next_value * (1 - dones[t]) - values[t] gae delta gamma * lam * (1 - dones[t]) * gae advantages[t] gae next_value values[t] return advantages这里的values必须是价值网络在torch.no_grad()下输出的结果而且不能在计算图里累积梯度。新手最常见的报错就是values带着梯度进入这个循环导致整个反向传播的图异常复杂显存直接爆掉。dones的处理也很关键如果当前步dones[t]1说明一个episode结束了下一步的价值应该置零也就是代码里的(1 - dones[t])否则会把下一个全新episode的价值错误地算进当前episode里。gamma控制长期回报的权重lam控制偏差和方差的折中。这两个参数不是拍脑袋定的gamma越接近1策略越看重远期收益适合目标在很远的任务lam越大优势估计的方差越大但偏差较小。我实际跑控制类任务时gamma0.99, lam0.95是一个非常稳的起点基本不用大动。3.2 PPO更新里的ratio、clip和熵正则GAE算完之后就到了PPO的核心更新逻辑。它的目标函数核心是新旧策略的比值再用clip限制单次更新的步子不能迈太大ratio torch.exp(new_log_prob - old_log_prob) surr1 ratio * advantage surr2 torch.clamp(ratio, 1.0 - clip_eps, 1.0 clip_eps) * advantage policy_loss -torch.min(surr1, surr2).mean() entropy dist.entropy().mean() value_loss F.mse_loss(new_value, returns) total_loss policy_loss 0.5 * value_loss - 0.01 * entropy每个符号背后都有讲究。ratio超过1 clip_eps说明新策略在这个动作上比旧策略激进太多要被clip拦住防止一步更新把策略推到悬崖边。value loss通常带一个0.5系数让价值网络别跟得那么着急。entropy项是鼓励探索的它前面的系数虽然小但影响很大。如果看到训练早期熵值快速掉到接近0基本可以断定策略陷入了局部最优。这时候最有效的做法是加大entropy系数到0.05甚至0.1或者把log_std的下界从-2.0放宽到-1.0让探索更充分一些。反过来如果训练一直很随机、回报曲线贴着0走说明探索太过了把entropy系数降到0.001以下。这个系数没有一个通用最优值但看完训练曲线再调是唯一靠谱的路线。3.3 训练不收敛时的快速排查清单我自己训练过程中遇到不收敛很少直接去动网络结构而是先按一个固定顺序排查问题这里整理成一张表供你参考症状可能原因处理方式loss直接变成NaNreward或advantage里有Inf检查奖励是否溢出对advantage做标准化策略回报忽高忽低学习率太大降到3e-4量级观察曲线是否变平滑训练卡住但熵持续下降探索不足、局部最优提高entropy系数放宽log_std范围value loss居高不下GAE的dones处理错误或奖励尺度太大检查truncated/terminated是否区分做reward归一化单步更新后策略剧烈变化没有做gradient clipping加torch.nn.utils.clip_grad_norm_(params, max_norm0.5)其中advantage标准化是我强烈建议加的一行advantages (advantages - advantages.mean()) / (advantages.std() 1e-8)。这行代码单独跑不会改变相对大小但能显著提升数值稳定性。很多人在小任务上离了它能跑一换到大规模任务就崩加了之后往往会稳很多。4. 文档说明让三个月后的自己和同事都能快速接手的写作方法4.1 README是项目的门面也是给未来的自己留的提示标题里文档说明四个字分量很重但被太多人忽略了。代码写得再漂亮三个月后你自己都未必记得当初为什么这么设计。我的习惯是项目一开始就写README然后随代码同步更新。一个及格的强化学习项目README至少应该包含这些部分# 项目名称 一句话说明这个项目解决了什么问题用了什么算法。 ## 环境依赖 - Python 3.10 - gymnasium 0.29 - torch 2.0 - 安装命令pip install -r requirements.txt ## 快速开始 - 训练python train.py --config configs/ppo_balance.yaml - 评估python evaluate.py --checkpoint checkpoint/ppo_balance.pt ## 配置文件说明 - gamma0.99: 折扣因子 - lam0.95: GAE lambda参数 - clip_eps0.2: PPO clip范围 ## 结果 - 训练曲线截图 - 最终测试回报 - 复现结果的操作步骤很多人觉得README是给别的看的其实它最大的作用是让未来的自己能在十分钟内接上手。我见过不止一次实验做完了、代码扔在一个命名为final_v2_really_final的文件夹里等过两个月想重新跑一下连参数都要猜半天。这种时间的浪费远比当时写文档花掉的那半小时多。4.2 注释只写为什么不写是什么代码注释这件事我的原则很明确只注释为什么这么做不注释这行代码在做什么。比如gamma * next_value * (1 - dones[t])如果注释写计算折扣价值那等于没写如果写这里必须用(1-dones)把终局后的价值清零否则会串episode这个注释才有真正的价值。对于强化学习项目还有一类特别值得注释的内容超参数的选择依据。比如clip_eps0.2如果你经过实验发现0.1时训练更稳但慢0.3时波动大但上限高你把这句话写进注释能帮未来的自己省掉重新做一遍实验的时间。这类实验结论型注释是普通代码注释之外强化学习项目独有的财富。超参数本身我建议集中放在yaml或dataclass配置里不要在代码各处散落魔法数字。一个小技巧是每次实验保存模型checkpoint时把对应的超参数json一起保存。这样回头分析结果时模型文件本身就是完整的实验记录不用再去翻历史代码。4.3 实验记录训练曲线之外还需要一张结果表强化学习的实验结果如果只保留一张loss曲线很多信息是丢失的。我现在的习惯是每个项目维护一个简单的实验记录表记录日期、算法、环境、关键超参数、最终回报、以及备注。格式不需要复杂Markdown表格就够用日期算法环境学习率最终回报备注2025-01-10PPOPendulum-v13e-4-180基础版本2025-01-11PPOPendulum-v11e-3-320学习率太大不稳定这样记的好处是等你想对比不同方案时不需要重新跑实验直接看表格就能定位问题。如果你想记录得更细可以接wandb或者tensorboard但别忘了它们只是记录工具真正做决策的还是你自己。文档的本质是降低决策成本无论是给未来的自己还是给团队里的其他人。5. 一个案例串起来的完整路径从仿真训练到部署验证5.1 用基于强化学习的PID控制练手最合适如果你只想通过一个项目把整条链路打通我强烈推荐基于强化学习的PID控制。这个任务的被控对象可以是电机、水箱或者一个简单的温控系统动作是控制器输出或PID参数奖励直接用误差平方的负值。状态空间小、可解释性强、训练速度快特别适合验证代码框架是否正确。我当时的做法是用离散传递函数模拟被控对象封装成gym环境用PPO训练一个控制器。第一步用固定PID参数生成随机扰动数据观察环境是否稳定第二步用随机策略跑200步确认观测和奖励范围合理第三步才改上PPO。整个过程也就一个晚上但把环境封装、rollout、GAE、PPO更新、checkpoint保存、文档记录全部跑通了。后面再上机械臂、无人机只需要替换环境和网络结构训练主流程几乎不用动。5.2 机械臂逆向运动学、MuJoCo和PPO的常见组合机械臂逆向运动学IK是另一个很适合进阶的方向。你可以把IK问题当成强化学习任务观测是机械臂当前关节角和目标末端位置动作是关节角的增量奖励是末端离目标距离的负值。MuJoCo提供了支持接触和物理仿真的环境配合PPO可以完成从关节空间直接学习末端跟踪的策略。但这个案例比PID控制器复杂很多最明显的问题是稀疏奖励和局部最优。距离奖励虽然连续但机械臂自由度一高初期随机探索很难离目标足够近。我实际的做法是先用运动学逆解给一小段专家轨迹做演示或者对距离设定一个阈值超过阈值给额外奖励把agent先引到目标附近。这里要注意专家引导的比例要逐步降低否则策略永远学不会自己探索。训练完成后把PyTorch模型权重导出为TorchScript再用LibTorch在C里加载并做前向推理。这一步对接的是热词里提到的C部署场景。Python训练、C推理这套流程能兼顾开发效率和部署性能。如果你非要在C里做整个训练流程那就要自己管理rollout存储、自动求导和优化器工程量会翻好几倍除非有很强的理由我不建议这么做。5.3 后面可以往哪些方向延展一旦你已经具备定义环境、实现PPO、训练稳定、写清文档这套基本功后面的路就宽了。可以往多智能体强化学习方向走研究多个agent之间的协作和竞争可以做基于模型的强化学习让agent利用学到的动力学模型减少真实交互次数也可以考虑离线强化学习比如IQL利用已有数据集训练策略避免在线采样成本。无人机控制是深度强化学习应用里的一个热门落地方向但实物部署的坑比仿真更多状态估计噪声、通信延迟、安全边界每一项都可能让仿真里稳定的策略在真机上失效。我个人的建议是仿真到实物的跨越应该从最保守的设置开始先做半实物测试再逐步放开边界。这个过程里前期写好的文档说明会救你命——它能帮你快速定位哪些参数来自仿真假设、哪些来自真实平台标定而不是靠记忆一点点猜。如果现在有人问我强化学习代码实现的起步建议我会说先别追求算法多新、网络多大找一个像PID控制这样的小任务把环境、算法、训练、文档这四件事完整跑一遍。这个过程里收获的调试直觉和工程习惯比多学十个算法都管用。本文还有配套的精品资源点击获取