基于PPO的A股自动交易策略实战：状态设计、奖励函数与回测全流程解析

简介：面向计算机相关专业学生与算法爱好者，这份基于深度强化学习的A股自动交易智能体源码包，完整覆盖从数据读取、特征构造、智能体交互环境搭建，到PPO模型训练、策略回测与结果可视化的主流流程，适合课程设计、期末大作业或毕业设计参考。压缩包共130个文件，以Python源码、Jupyter Notebook、训练日志、图像结果为主：py文件实现核心算法与工具，ipynb可交互查看PPO模型参数、交易结果与常规策略对比，jpg/png展示成分股表现等可视化图表，整体约20.92MB，目录组织清晰。目前已有101人学习，适合具备一定Python和机器学习基础、希望系统掌握强化学习在金融场景落地的读者。源码经过严格调试，下载即可运行，并提供多视角分析笔记与脚本，便于在此基础上复现结果、调整策略或扩展新的交易模型。

1. 为什么A股自动交易最终选了PPO

A股市场大概是量化交易最难做的战场之一：T+1交割、10%涨跌幅限制、印花税和手续费双向摩擦，再加上散户占比高导致的噪声极大，很多在美股回测漂亮的策略搬过来直接失效。传统技术指标和线性回归模型面对这种非平稳、高噪声环境时，基本只能抓住非常表面的趋势特征。这套源码里走了一条不同的路：把股票自动交易建模成马尔可夫决策过程，用PPO（Proximal Policy Optimization）训练一个智能体，让它在真实历史行情上反复试错，自己学会什么时候买入、卖出、空仓。PPO在强化学习算法里属于训练稳定、超参数不敏感的一类，比DQN系和DDPG系更适合股票这种奖励信号稀疏且延迟到达的场景。源码包含了从数据获取、环境模拟、模型训练到回测可视化的完整链路，适合正在做毕业设计或想搭建第一套量化交易框架的人作为起点。

2. 状态空间、动作空间与奖励函数：交易智能体的设计地基

强化学习做交易和做游戏最大的区别在于环境不是确定性的。游戏里每一步的奖励是稳定的，行情数据则带有强烈的噪声和时变性。因此状态怎么构造、动作怎么定义、奖励怎么设计，直接决定PPO智能体最终学出的是交易逻辑还是过拟合幻觉。

2.1 状态空间：把行情压缩成能训练的表征

项目的notebook里大量使用了pandas做数据处理，状态输入不是裸的价格序列，而是经过归一化和特征工程后的窗口数据。常见做法是取过去N日（源码里默认30天）的日线数据，计算OHLCV的归一化值以及若干技术指标特征。

以下是典型的_build_state逻辑：

def _build_state(self): window = self.df.iloc[self.idx - self.lookback : self.idx] close = window['close'].values ret = np.diff(close) / close[:-1] features = np.column_stack([ ret, window['volume'].values[1:] / 1e6, mock_macd(window['close'].values), mock_rsi(window['close'].values) ]) return features.flatten()

这段代码把原始行情压缩成一个固定维度的向量：收益率序列体现价格动量，成交量除以百万是为了把量能数据缩放到和收益率相近的数量级，MACD和RSI是从价格序列派生的技术状态。归一化这一步非常关键，PPO的actor网络输出层通常是tanh激活函数，输入特征如果不做尺度统一，训练初期梯度会剧烈震荡。这里推荐直接用sklearn.StandardScaler对全量数据先fit一次，再把scaler参数固化下来，避免训练和预测时出现数据泄露。

2.2 动作空间与A股约束的对齐

动作空间的设计决定了智能体在每一步能做什么。源码中最核心的动作定义是三分类离散动作：0表示持有不动、1表示买入、2表示卖出。这个设计比连续动作更贴近A股的实际交易约束。

A股的约束主要体现在三个方面：

环境里对这三条的处理我一般会写成以下逻辑：

def step(self, action): if action == 1 and self.position == 0 and self.idx > self.last_buy_idx + 1: # 买入：按手数取整 buy_vol = int(self.cash * 0.95 // (self.price * 100)) * 100 if buy_vol > 0: self.position = buy_vol self.cash -= buy_vol * self.price * (1 + self.cost_rate) self.last_buy_idx = self.idx elif action == 2 and self.position > 0: # 卖出：全部清仓 self.cash += self.position * self.price * (1 - self.cost_rate - self.stamp_tax) self.position = 0

买入时把资金使用率限制在95%，预留手续费和滑点空间，这是真实交易场景中的常见做法。卖出时同时扣除佣金和印花税，佣金费率按万分之一点三设置，印花税卖出单边千分之零点五。值得注意的是T+1的检查条件不是记录当天是否买入，而是记录last_buy_idx并和当前索引比较，这样跨天时才能准确判断持仓是否满一天。

2.3 奖励函数：收益、回撤与交易成本的权衡

奖励函数是整个智能体设计里最容易被低估的部分。如果只把单步收益率作为奖励，智能体会发现最好的策略是满仓持有不动，因为A股长期来看指数是振荡上行的，这样学的就不是交易策略而是死拿不放。源码里采用的奖励函数是持仓收益变化与惩罚项的组合形式：

def _calc_reward(self, prev_price, curr_price): # 持仓市值变化 pnl = self.position * (curr_price - prev_price) # 交易成本惩罚 trade_penalty = (self.cost_rate + self.stamp_tax) * self.position * curr_price if self.trade_executed else 0 # 回撤惩罚 equity = self.cash + self.position * curr_price dd = (self.equity_peak - equity) / self.equity_peak if self.equity_peak > 0 else 0 return pnl / 1e6 - trade_penalty / 1e6 - 2.0 * dd

这个奖励设计的精妙之处在于把交易成本显式扣除，智能体不会为了微小的价格波动频繁买卖，因为每次买卖都会产生固定的摩擦成本，只有当预期收益超过摩擦成本时交易才划算。回撤惩罚项是乘了2的权重，这是调参后得出经验值。过高的回撤惩罚会让智能体变得极度保守，几乎不敢持仓；过低的回撤惩罚又会让智能体在趋势下跌时仍然死扛仓位。这里给一个通用的调参方向：先用无惩罚项版本训练到收敛，观察最大回撤水平，再逐步加大惩罚系数，直到收益回撤比出现明显拐点后回退一档。

3. 交易环境搭建与PPO训练循环实现

强化学习训练的稳定性很大程度上取决于环境和模型的协同。A股历史数据有限，单只股票日线数据可能只有几千条，直接做逐日step训练会造成样本量不足。源码里采用的方式是对成分股池做批量环境训练，这就是成分股交易期间整体表现.ipynb存在的原因。

3.1 用多股票并行环境扩大样本量

单只股票的数据量撑不起PPO的样本需求，常见解法是同时实例化多只股票的独立环境，每次rollout时分别采样。源码的做法是把沪深300成分股按行业分层抽样选出30只，每只股票对应一个独立的交易环境。

class ParallelEnv: def __init__(self, df_list, lookback=30): self.envs = [AShareTradingEnv(df, lookback) for df in df_list] def reset(self): return np.stack([env.reset() for env in self.envs]) def step(self, actions): states, rewards, dones = [], [], [] for env, act in zip(self.envs, actions): s, r, d, _ = env.step(act) states.append(s) rewards.append(r) dones.append(d) return np.stack(states), np.stack(rewards), np.stack(dones)

这里把单智能体环境扩展到多环境并行采集数据，是PPO训练的关键提速手段。每只股票的行情走势不同，环境返回的奖励信号差异也很大，这种多样性恰好是策略梯度方法需要的。如果只在一只股票上训练，智能体很快会记住它的特有走势，换到另一只股票上就完全失效。

3.2 Actor-Critic网络与PPO的裁剪目标

PPO的收敛稳定性主要来自它用重要性采样比率和clip裁剪来控制策略更新的幅度。训练智能体的网络结构并不复杂，Actor和Critic共享底层的特征提取层，然后分叉输出动作分布和状态价值估计。

class ActorCritic(nn.Module): def __init__(self, state_dim, action_dim): super().__init__() self.feature = nn.Sequential( nn.Linear(state_dim, 256), nn.ReLU(), nn.Linear(256, 128), nn.ReLU() ) self.actor = nn.Linear(128, action_dim) self.critic = nn.Linear(128, 1) def forward(self, x): feat = self.feature(x) logits = self.actor(feat) value = self.critic(feat) return Categorical(logits=logits), value

特征是256维加128维的两层全连接加ReLU，中间不接BatchNorm，因为交易数据的batch分布差异过大，BN会引入额外的噪声。多头采样的动作分布用Categorical来建模离散的动作空间。Critic输出的是状态价值估计，用来和实际的累积收益做比较，两者的差就是优势函数。

3.3 GAE优势估计与训练主循环

PPO训练的核心公式是策略梯度加GAE（Generalized Advantage Estimation）。GAE通过lambda参数在偏差和方差之间做平衡，源码中是这么实现的：

def compute_gae(rewards, values, dones, gamma=0.99, lam=0.95): advantages = np.zeros_like(rewards) gae = 0 next_value = 0 for t in reversed(range(len(rewards))): delta = rewards[t] + gamma * next_value * (1 - dones[t]) - values[t] gae = delta + gamma * lam * (1 - dones[t]) * gae advantages[t] = gae next_value = values[t] returns = advantages + values return advantages, returns

GAE的计算是从最后一个时间步倒着推回来的。delta是时序差分误差，代表当前步的实际奖励和Critic预测的差值；gae是累积的带权优势估计，lambda越小权重衰减越快，优势估计越偏向近期奖励，方差更小但偏差变大。在股票数据上我倾向把lambda设到0.92到0.95之间，行情噪声大时偏低一些能降低方差。

训练主循环里，PPO的loss由三部分组成：

ratio = torch.exp(new_log_prob - old_log_prob) surr1 = ratio * advantages surr2 = torch.clamp(ratio, 1.0 - clip_eps, 1.0 + clip_eps) * advantages actor_loss = -torch.min(surr1, surr2).mean() critic_loss = F.mse_loss(value, returns) entropy_loss = -(dist.entropy()).mean() total_loss = actor_loss + 0.5 * critic_loss - 0.01 * entropy_loss

actor_loss就是裁剪后的策略梯度目标，它的作用是当新旧策略的比率超出clip范围时梯度置零，防止更新步长过大。critic_loss是价值网络的回归损失，target是用GAE计算出的return。entropy_loss加了一个负号最小化，目的是鼓励动作分布的探索性，系数0.01是经验值，太大策略会变成随机游走，太小又容易过早收敛到局部最优。

4. 回测可视化：训练结果和交易信号的复盘方法

训练完的PPO模型到底行不行，不能只看loss曲线。这组源码里专门拆出了两个notebook做结果分析，比训练本身更能看出问题。

4.1 从plot_result看训练收敛状态

plot_result.ipynb画的通常是训练过程中的奖励曲线、价值损失和策略熵。我一般会同时画三个子图来判断训练状态：

fig, axes = plt.subplots(3, 1, figsize=(12, 10), sharex=True) axes[0].plot(train_rewards) axes[0].set_title('Episode Reward') axes[1].plot(critic_losses) axes[1].set_title('Critic Loss') axes[2].plot(entropies) axes[2].set_title('Policy Entropy') plt.tight_layout() plt.show()

奖励曲线缓慢上升并最终在一个区间内波动，说明策略在持续改进。如果奖励曲线一直不涨，问题大概率出在奖励函数设计上，而不是模型结构。critic loss持续下降说明价值估计在逐步收敛，但如果降得过快，到后期持续在低位徘徊，通常意味着value网络已经过拟合到训练集的时序模式上。policy entropy是判断探索状态最直接的指标，熵值如果过早降到接近0，说明策略已经锁死，需要调大熵系数或重置学习率；熵值如果始终不降，说明智能体还在随机游走。

4.2 plot_traded_result：把买卖点叠加到K线图上

plot_traded_result.ipynb做的事情就是把智能体在某一时间段内的实际交易记录标注在行情图上，这是判断交易行为是否合理的最直观方法。

fig, ax = plt.subplots(figsize=(16, 8)) ax.plot(price_df.index, price_df['close'], lw=1.2, color='#1a1a1a') buy_points = trade_df[trade_df['action'] == 'BUY'] sell_points = trade_df[trade_df['action'] == 'SELL'] ax.scatter(buy_points.index, buy_points['price'], marker='^', s=70, c='#d62728', label='BUY', zorder=5) ax.scatter(sell_points.index, sell_points['price'], marker='v', s=70, c='#2ca02c', label='SELL', zorder=5) ax.legend() plt.show()

把买卖点标注到价格序列上，能看到几个关键问题：买入点是否都出现在回调后的低位而不是追高位置，卖出点是否避免了大幅回撤，交易频率是否过高导致手续费蚕食利润。我拿到任何交易策略的第一个操作就是把交易点打在图上做视觉检查，这一步比任何指标都更能暴露策略缺陷。

4.3 滑点、停牌与手续费：回测里最容易翻车的三个地方

回测结果和实盘表现之间的差距，大部分来自这三个因素：

• 滑点：成交价格和信号价格之间的偏差，模型在训练时用的是收盘价成交，实盘中涨停板开盘、大单冲击都会造成滑点。建议在环境里对每次成交价格加一个0.1%到0.3%的随机扰动。
• 停牌：A股停牌是常态，停牌期间无法交易，环境里if价格数据缺失时直接跳过该日。
• 手续费与最小变动单位：佣金、印花税和过户费会显著改变最优交易频率，训练环境里应该显式扣除。

提示：回测收益看起来不错，但不代表实盘能盈利。尤其注意训练数据里是否包含停牌日和后复权价。如果价格没有做复权处理，分红除权会造成价格断崖式下跌，智能体会误判为暴跌而错误卖出。

5. 与常规策略对比及PPO超参数的调优边界

源码中conventional_strategy.ipynb的存在，说明作者也在验证一个问题：如果PPO智能体连最基础的均线策略都跑不赢，那深度强化学习在交易上就没有意义。

5.1 搭建传统策略基线

对照实验的常见做法是把双均线策略和动量策略作为baseline。双均线策略的逻辑很简单：短期均线上穿长期均线时买入，下穿时卖出。

def ma_cross_strategy(close, short=5, long=20): ma_s = close.rolling(short).mean() ma_l = close.rolling(long).mean() signal = (ma_s > ma_l).astype(int).diff() return signal # 1买入, -1卖出

在同样的一段回测区间内，跑完PPO策略和均线策略后，对比三个指标：年化收益率、最大回撤、夏普比率。PPO在震荡市里通常会胜过均线策略，但在单边趋势市中往往跑不赢简单的均线跟随，因为趋势市里最好的策略就是买入持有，而PPO的奖励函数里的回撤惩罚会让它在回调时过早卖出。

5.2 从查看ppo模型参数看调优方向

查看ppo模型参数.ipynb这个notebook，作用是从训练好的模型检查点中读取超参数配置和网络权重。刚训练完一个模型，第一件事就是确认模型的熵系数、裁剪系数和学习率是否和训练时一致。我发现很多人加载模型后直接推理，结果发现效果和训练时有很大差异，最后查到原因是对超参数的加载不一致。

checkpoint = torch.load('ppo_stock_model.pth', map_location='cpu') print(checkpoint['config'])

实际去看参数时重点看这几个值：

有一个容易被忽略的现象：PPO对学习率的敏感度远高于DQN。A股股价序列自相关性强，同样的轨迹会被重复采样。如果学习率偏高，策略会在几个episode的奖励脉冲下做出大幅更新，然后进入震荡。我的习惯是初始学习率设1e-4，训练中期衰减3倍，后期再用1e-5做微调，这一步对最终收益的贡献通常能提升20%左右。

5.3 换手率约束：避免过拟合的最后一层防线

PPO模型的最终收益和换手率之间有个隐藏关系：换手越频繁，越容易在训练集上拟合出优异收益，但泛化能力越差。合理的做法是在奖励中加入换手率惩罚项，或者在训练结束后用换手率作为模型筛选条件。同一组超参数跑多次，每次的初始随机种子不同，训练出的交易风格差异会很大，选那个换手率适中且收益靠前的版本，比只选收益最高的版本更稳妥。把换手率和区间收益画成散点图，如果出现明显的正相关，说明策略在依赖过度交易获利，实盘时手续费和冲击成本会把这个收益吃掉大半。

本文还有配套的精品资源，点击获取