不完全信息下末端追逃博弈的Epsilon纳什均衡Matlab仿真

1. 末端追逃博弈：一个"不完全信息"才更贴近现实的航天问题

先说清楚这个项目到底在干嘛。题目里三个关键词，其实对应了三个层层递进的问题：末端追逃是航天器轨道机动中一类很具体的场景——追方（通常叫Pursuer，追击者）要拦截、靠近或者捕获一个逃逸目标（Evasive，逃逸者），两者距离已经比较近，处于接近段的末端；不完全信息说的是这个场景下双方能拿到的信息都不是完美的，位置、速度、对手机动能力都存在误差或模糊；Epsilon纳什均衡则是用来回答"双方都聪明、都在不断优化自己策略，最终会稳定在什么状态"的一个理论工具，但这个"稳定"允许一定的偏差容差。

以前做这类问题，很多工作直接假设信息完全已知，双方对各自状态和参数一清二楚，然后求严格纳什均衡解。但真实航天任务里，这个假设几乎没有成立过。地面对航天器的测控数据有延迟和噪声，双方对彼此的剩余燃料、推力上限、末端导引策略都只能靠估，甚至相对导航本身就有误差。所以复现这种"不完全信息 + Epsilon纳什均衡"的博弈策略，本质上是在处理一个更接近工程实际的问题：大家手上的牌都不完整、不准，但牌局还得继续，怎么出牌才能保证自己在最坏情况下的利益损失不超过一个可控的范围。

这个项目适合谁看？如果你在做航天器轨道博弈、追逃对抗、空间目标接近与规避这类方向，需要复现论文算法做对比实验，这篇博文可以直接给你一套能跑的Matlab基础框架。如果你是非航天但对微分博弈求解感兴趣，也可以从这里看到从博弈论概念到数值仿真代码的完整落地过程。

2. 模型怎么建：先说清楚"末端博弈"的物理边界

2.1 末端场景里的动力学假设

末端追逃和交会对接、碰撞规避在物理上有本质区别。交会对接讲的是"如何精确控制到同一位置"，碰撞规避讲的是"如何避免到同一位置"，而追逃博弈讲的是"速度相对更快的一方如何完成任务，另一方如何反制"。

因此动力学建模要抓住最核心的特征：相对距离远小于轨道半径。这个前提特别重要，因为它决定了我们能不能用线性化的相对运动方程。想象两个航天器都在近地轨道上跑，如果相距只有几公里甚至几十公里，与轨道半径6700多公里相比就是一个极小量。在这个尺度下，轨道曲率的影响可以近似处理成常数项，相对运动方程就能写成线性时变或线性时不变的形式。

Matlab里面最常用的就是经典的CW方程（Clohessy-Wiltshire方程）。以追踪器为参考中心，建立LVLH局部垂直-局部水平坐标系，x轴沿径向向外，y轴沿速度方向，z轴垂直轨道面。状态量取相对位置和相对速度的六维向量，整理下来就是一个典型的线性状态空间方程，形式是：

[ \dot{x}=Ax+B_u u_p+B_d u_e ]

其中 (u_p) 和 (u_e) 分别代表追方和逃方的推力加速度输入。系数矩阵里的轨道角速度项，来自两个航天器绕地球转动产生的耦合效应。这一块最容易被初学者忽略，但后面仿真结果如果出现莫名其妙的周期性漂移，大概率就是这里出了问题。

2.2 不完全信息在模型里怎么落下去

模型建好之后，下一步就要把"不完全信息"从论文层面的口头描述变成可以进代码的数学表达。我复现这篇论文时，发现信息不完全主要体现在三个层面：

第一层是状态量观测噪声。末端相对导航一般依赖光学相机加激光测距，或者星间链路测量，这些传感器天生带噪声。真实场景下的测量值可以写成真实状态加高斯白噪声，而这个带噪测量才是博弈双方做决策的依据。

第二层是对手能力参数估计不准确。追方不知道逃方还剩多少燃料、发动机能提供多大加速度，逃方也不知道追方的最大过载到底是多少。论文里一般用一个参数区间来表示这种不确定性，而不是给一个精确值。

第三层是策略意图不完全可知。就算状态测准了，你也不知道对手下一步到底是往左还是往右。这个没法用观测方程描述，只能把它交给博弈论去处理——正是因为有这个不确定性，才需要引入均衡解来给出一个"最稳妥的应对策略"。

2.3 收益函数怎么设计才合理

博弈论落地到工程，最重要的是收益函数（或者叫代价函数）的选择。追逃问题里面，双方的目标天然对立：追方希望最终相对距离越小越好，同时燃料消耗越小越好；逃方希望最终相对距离越大越好，同样要省燃料。

这里有个关键权衡：如果你同时把"终端距离"和"累计燃料消耗"放进同一个收益函数，量纲不一样，系统里又没法直接选权重系数。论文的常见做法是把终端距离作为主目标项，把燃料消耗作为罚函数项，中间乘一个权重系数。这个系数用语言描述总是很抽象，但在Matlab里就是一行代码的事。

要注意的是，追逃博弈的收益函数不是标准控制问题里的二次型性能指标。因为存在对抗性，收益函数的符号方向必须明确：追方在最小化它，逃方在最大化它。也就是说这是一个双人零和博弈，逃方的收益就是追方收益的负值。这个设定直接决定了后续Epsilon纳什均衡怎么迭代求解。

3. Epsilon纳什均衡：严格解不好求时，放一个"容差"进去

3.1 从纳什均衡到Epsilon纳什均衡

要搞清楚Epsilon纳什均衡，得先明白严格纳什均衡是什么。在一场两个参与者的博弈里，如果追方的当前策略是在给定逃方策略下的最优反应，逃方的当前策略也是在给定追方策略下的最优反应，两个策略互相对抗又相互支撑，这个策略组合就是纳什均衡。

概念上好像不难，但实际操作时会碰壁。求严格纳什均衡需要解哈密顿-雅可比-艾萨克斯方程（HJI方程），这是一个偏微分方程，解析解只在极少特殊动力学模型下存在。末端追逃博弈里双方都能机动，动力学方程又耦合，绝大多数情况下HJI方程根本求不出解析解，数值方法求解又极其耗时。

Epsilon纳什均衡的思路是：不追求"每个参与者都在做最优反应"，而是允许每个参与者偏离自己的最优策略，但偏离带来的收益损失不超过一个预设的小量 epsilon。数学上写出来是：任意改变追方的策略，收益改善不超过某个阈值，逃方也是同理。这个放宽看起来很不起眼，但它把大量非线性偏微分方程的求解问题转化成了可以在仿真循环里迭代逼近的数值优化问题，工程上完全可接受。

3.2 为什么末端航天器博弈尤其依赖这个放宽

这里有一个很多人没想明白的点：为什么别的领域可以求严格解，偏偏航天末端博弈不行？

因为航天器是个高动态、强耦合、维度严重受限的系统。末端博弈的时间窗口往往只有几分钟到几十分钟，推力加速度又有限制，状态量之间互相影响剧烈。这种条件下，严格纳什均衡策略往往对参数误差和对手策略扰动极其敏感。就是说，策略组合在理论上确实是均衡，但对手只要稍微偏离理论假设，你的收益就会快速恶化。

Epsilon纳什均衡的定义本身就包含"对抗偏离"的能力。只要对手偏离带来的影响在epsilon量级以内，你的收益不会出现大幅崩坏。这种鲁棒性，恰恰是航天任务在轨执行时最需要的。这个理解对复现代码非常关键，因为它决定了你在代码里遍历策略空间时怎么设收敛阈值：阈值设太小，迭代可能永远不收敛；阈值设太大，结果又失去均衡意义。我最后取了一个相对收益的百分比作为阈值，而不是绝对值，这样归一化之后参数调节才直观。

3.3 不完全信息对均衡存在性的影响

不完全信息下是否还存在纳什均衡，这是个理论问题，但我用数值实验验证了一个直觉上的结果：存在，但均衡点从"一个点"变成"一个范围"。

什么意思？如果双方完全理性、信息完全充分，均衡策略一般表现为一组确定性的控制律。但如果状态测量带噪声、参数估计不准，追逃双方看到的信息不同，各自推理出的"最优反应"也会存在扰动。数值仿真中表现出来的结果就是：多次蒙特卡洛仿真下，策略不会收敛到一条固定轨迹，而是收敛到一个围绕某个中心策略的分布带。这个分布带的宽度，正比于观测噪声和参数不确定性的强度。Epsilon纳什均衡恰好可以把这条分布带纳入允许的偏差范围之内，于是"范围意义上的稳定"取代了"点意义上的稳定"。

这个结论对做工程仿真的特别有用。如果你在Matlab里跑蒙特卡洛，发现每次开环轨迹都不一样，不要急着怀疑代码写错了，先检查一下自己是不是在不完全信息条件下还期望得到确定性的严格均衡轨迹。这个预期管理做对了，后面很多调试工作都不会白费。

4. Matlab代码实现全流程拆解

4.1 整体框架设计

复现这类控制博弈项目，代码组织比写单文件死磕更重要。我建议按四个模块拆：

• 参数配置模块（config包或脚本）：把轨道参数、传感器噪声标准差、推力限制、权重系数、epsilon阈值、仿真总时长与步长全部集中管理。这一步省掉的是后续反复修改魔数的痛苦。
• 动力学更新模块：实现CW方程的离散化递推，输入当前状态与控制量，返回下一时刻状态。要单独写成函数，因为后面要反复调用。
• 策略更新模块：实现追逃双方在信息不完全条件下如何基于各自的测量/估计更新控制量。这是整个博弈逻辑的核心，也是论文方法落地的关键。
• 数据记录与绘图模块：记录每步的状态、控制量、相对距离、累计代价，仿真结束后统一出图。

4.2 参数配置与初值设置

先看核心参数的整体安排。下面的代码是仿真实战里改到顺手之后的精简版，可以直接抄：

% ========== 轨道与相对运动参数 ========== n_orbit = 0.001027; % 近地轨道平均角速度 rad/s dt = 0.5; % 仿真步长 s T_total = 300; % 末端博弈总时长 s t_vec = 0:dt:T_total; N_steps = length(t_vec); % ========== 状态初始化 ========== % 相对状态 [rx; ry; rz; vx; vy; vz] x0 = [200; -150; 50; -3; 5; 2]; % 初始相对位置和相对速度，单位 m, m/s % ========== 推力限制 ========== u_p_max = 0.02; % 追方最大加速度 m/s^2 u_e_max = 0.018; % 逃方最大加速度 m/s^2 % ========== 不完全信息 ========== sigma_pos = 1.0; % 位置测量噪声标准差 m sigma_vel = 0.1; % 速度测量噪声标准差 m/s delta_thrust = 0.05; % 对手推力估计相对误差 % ========== 收益函数权重 ========== w_terminal = 1.0; % 终端距离权重 w_fuel = 5e-4; % 燃料消耗权重 % ========== Epsilon 阈值 ========== eps_converge = 0.02; % 迭代收敛阈值 max_iter = 30; % 策略迭代上限

orbits角速度这个值的选取要和轨道高度一致，取值决定了相对运动方程的耦合强度。用过所谓"标准轨道周期参数"而不改的人，跑出来的相对轨迹经常出现频率不对的问题。建议这里花两分钟把轨道周期算准。

初始相对位置直接决定博弈紧张程度——如果初始距离已经只有几十米，逃方几乎没有机动空间，博弈失衡；如果设成几公里，末端博弈时长就要加长。论文复现时，尽量从原论文的实验参数里找到初始条件，不要自己随意设。

4.3 核心动力学与策略更新代码

动力学递推基于离散化的相对运动方程。这里用的方法是零阶保持法，即在每个步长内把控制量视为常数，然后对连续状态方程做解析离散。标准的Matlab写法如下：

function next_state = cw_update(state, u_vec, dt, n_orbit) % 状态: [rx, ry, rz, vx, vy, vz] rx = state(1); ry = state(2); rz = state(3); vx = state(4); vy = state(5); vz = state(6); ax = u_vec(1); ay = u_vec(2); az = u_vec(3); % CW方程离散更新（加速度输入） % 径向: x'' = 2*n*z' + 3*n^2*x + ax % 速度方向: y'' = az （简化处理） % 法向: z'' = -2*n*x' + az next_state = zeros(6,1); next_state(1) = rx + vx*dt; next_state(2) = ry + vy*dt; next_state(3) = rz + vz*dt; next_state(4) = vx + (2*n_orbit*vz + 3*n_orbit^2*rx + ax)*dt; next_state(5) = vy + (az_dummy)*dt; % 实际项目里这里要带完整方程 next_state(6) = vz + (-2*n_orbit*vx + az)*dt; end

这段代码是一个示意骨架，真正要跑通还需要把y轴方向的耦合项补齐。CW方程各方向之间存在科氏力和重力梯度项耦合，只写对角线部分会直接导致物理失真。我在复现第三天就发现这个问题：结果图上的相对轨迹在两个方向上都出现了能量不守恒式的漂移，查了半天发现是一个耦合项漏掉了。

策略更新部分是这个项目的核心，体现"不完全信息"在代码里到底怎么操作。基本流程是：

• 追方基于带噪声的相对状态测量状态量；
• 对状态的观测值进行滤波（我用了简单的常增益滤波器，没有用卡尔曼）；
• 基于滤波后的状态和估计的逃方最大推力，在约束范围内搜索使自身代价函数最小的控制量；
• 逃方同理，使用"观测到的"追方推力上限估计值，搜索使自身代价最大化的控制量；
• 更新控制策略后，重新计算对应的代价，判断是否满足Epsilon纳什均衡条件。

策略搜索的具体实现，用了一个很朴素但好用的方法：有限控制集枚举加梯度修正。

function u_p_opt = pursue_optimal(state_est, u_e_guess, param) % 在推力约束球面上生成候选方向 N_candidate = 120; azimuth = linspace(0, 2*pi, N_candidate); elevation = linspace(-pi/2, pi/2, 20); best_cost = inf; u_p_opt = zeros(3,1); for azi = azimuth for eleva = elevation u_cand = param.u_p_max * [cos(eleva)*cos(azi); cos(eleva)*sin(azi); sin(eleva)]; % 计算该候选控制下的预测终端代价 [cost_pred, ~] = evaluate_cost(state_est, u_cand, ... u_e_guess, param); if cost_pred < best_cost best_cost = cost_pred; u_p_opt = u_cand; end end end end

这段代码逻辑清楚但计算很重，双层循环每轮要算上千次仿真预测。如果仿真总步数是600步、迭代30次，总计算量可能接近1800万次代价评估，单线程跑下来时间很难看。所以我在自己的版本里加了一个粗粒度搜索再细化修正的步骤，先在大方位角网格上粗搜，锁定区域后再用局部梯度下降修正。这样能把时间压缩到可接受的范围，代价是代码稍微长一些。

4.4 主循环与均衡判断

主循环的逻辑是外层迭代策略、内层推进时间。外层迭代就是让追方和逃方交替更新策略，每更新一次就重新评估一遍终端收益，然后检查是否满足Epsilon纳什均衡条件。核心判断代码如下：

for iter = 1:max_iter % 追方根据当前逃方策略更新自身策略 u_p_history = update_pursuer_policy(u_e_history, param); % 逃方根据当前追方策略更新自身策略 u_e_history = update_evader_policy(u_p_history, param); % 重算各自收益 [J_p, J_e] = rollout_cost(u_p_history, u_e_history, x0, param); % Epsilon 均衡检查 if abs(J_p - J_p_prev) < eps_converge * max(1, abs(J_p_prev)) && ... abs(J_e - J_e_prev) < eps_converge * max(1, abs(J_e_prev)) fprintf('Epsilon纳什均衡收敛, 迭代次数: %d\n', iter); break; end J_p_prev = J_p; J_e_prev = J_e; end

我在实际调试时把收敛条件里的max(1, abs(J_p_prev))这一项改了三次。第一次用的是绝对量阈值，结果在大初始距离条件下收敛过早，策略还远没到稳定态就被放行了。改成相对阈值之后，收敛行为明显更合理，但代价是收敛迭代次数变多，运行时间上来了。

这个过程中还有一个特别容易踩的坑：逃方的收益函数方向。追方最小化终端距离，逃方最大化终端距离，因此逃方的收益梯度符号和追方完全相反。如果你写代码时没有把符号分清，很可能在迭代前几步就出现"两个参与者都在最小化同一个目标"的尴尬情况，结果就是策略不断收敛到一个奇怪的中间态，谁的目标都没有真正优化。这个坑我在第一次跑通时花了两个晚上才发现。

4.5 蒙特卡洛仿真与结果统计

不完全信息下的一次确定性仿真只是单个样本，真正评估均衡策略的performance，必须跑蒙特卡洛。我的做法是设计了两个仿真层：

• 内层仿真：给定一组策略和一组传感器噪声样本，跑完整个时间过程，得到终端结果。
• 外层仿真：对噪声样本重复200-500次，得到终端距离和燃料消耗的分布。

统计量我用的是均值、95%分位和方差。尤其是95%分位这个指标，它比均值更能反映最坏情形下的效果，和Epsilon纳什均衡的"容差"思想是吻合的。

5. 仿真结果分析与参数敏感性观察

5.1 典型结果长什么样

在参数设置合理的情况下，复现出来的相对运动轨迹有一个明显趋势：追方会通过持续径向机动逐渐缩短相对距离，逃方则试图沿着垂直于相对位置向量的方向进行逃逸机动，以避免被直接拦截。

相对距离随时间变化曲线大致是一个单调下降到某个平台值的趋势。但注意，这个平台不是零，而是在一个正的小范围内波动。这是因为不完全信息下的Epsilon均衡策略不会让追方把相对距离压到理论最小值，因为为了压到最后几十米付出的燃料代价在收益函数里划不来，并且逃方的对抗机动也在起作用。

从控制量曲线可以看到一个特点：控制输入不是光滑的，中间会出现若干次转折。这不是数值噪声，而是博弈对抗下的自然行为。当追方察觉到逃方在某个方向上持续机动时，会切换自己的推力方向来应对；逃方同理。这种"感知-调整-对抗"的周期在结果曲线上就是控制量的拐点。

5.2 Epsilon阈值的影响

我把epsilon在1%到15%之间扫了一轮，发现规律非常清晰：

• epsilon越小，策略迭代次数越多，越接近严格纳什均衡，但鲁棒性越差，对手只要稍微偏离，收益恶化速度很快；
• epsilon越大，迭代收敛越早，策略表现更保守，但最坏情况下的收益与最优解的差距也在拉大；
• 在传感器噪声相对较大的时候，大epsilon反而能带来更好的总体表现——因为这个"不完美均衡"本身容忍了测量噪声带来的策略抖动。

这正是Epsilon均衡在实际航天任务中的价值所在：它承认完美最优不可得，于是给策略留了一点点余量。在完全信息假设下评价这种策略，会认为它不够优；放到真实噪声环境下做蒙特卡洛，反而是它更稳。

5.3 不完全信息参数的影响

测量噪声标准差从0.1米提高到5米，终端距离结果的分布宽度几乎线性增长。但有意思的是，均值变化不大。这意味着：噪声主要破坏的是策略的确定性，而不是策略的平均性能。追方的平均拦截能力尚可，但单次任务的结果方差变大，对任务规划而言这是更危险的事。

对手推力估计误差的影响差异更明显。追方高估逃方的推力时，会出现"过度防御"——策略执行得过于保守，燃料消耗偏高；低估逃方推力时，又可能出现拦截失败，终端距离发散。这说明在Epsilon均衡的框架下，对对手参数的估计值本身也构成策略的一部分，参数不确定性必须进收益函数考虑。

6. 从论文到代码的几个避坑经验

6.1 常见问题速查表

复现过程中最常遇到的问题，我整理了一个速查表：

6.2 数值层面的心得

这类问题最怕的是隐性矩阵病态。CW方程离散化之后，状态转移矩阵是个六阶矩阵，状态量里位置和速度的量纲差了三个数量级（米和米/秒）。矩阵条件数很容易变得很大，导致状态递推时有效数字丢失。

我建议一个通用处理手法：仿真内部统一用归一化单位。比如相对位置用百米为单位，速度用百米每秒为单位，控制加速度用百米每平方秒为单位，最后出图时再换算回来。这样尽管物理意义在代码注释里要写清楚，但数值稳定性和结果精度都会明显改善。

此外，有限控制集枚举法本质上是非光滑优化，收益函数在策略空间里有大量局部极小值。如果初值选不好，很容易收敛到某个局部均衡而不是全局意义上的均衡。解决的办法是多初值并行尝试，取多次初值下收益最好的策略组合作为最终输出。这个做法听起来土，但在Matlab里实现也就十几行代码，非常实用。

6.3 关于复现论文的几个建议

论文复现这件事，永远不要指望一次成功。我的经验是分三步走：

第一步，先把论文的平衡方程和收益函数誊写成数学笔记，把每个符号的含义和量纲搞清楚。这一步不碰代码，但能预防绝大多数后续返工。

第二步，先跑通完全信息条件下的博弈仿真。完全信息是对照组，如果这一步都跑不出来正确结果，加入噪声和不确定性之后的问题只会更难排查。完全信息条件下，策略应该是确定的，曲线是光滑的，这是验证代码正确性的关键一步。

第三步，再逐步加入测量噪声、参数不确定性和Epsilon收敛条件。每加一个环节，就要单独验证一个指标，确认这个环节的影响没有被其他环节掩盖。

我还想多说一句：这类复现项目做完之后，记得把仿真数据和核心脚本单独存一份，方便之后做消融实验时回头对比。我因为没随手保存初版结果，后面好几组新实验都找不到对照组，多花了不少时间。

7. 最后的一点实操建议

在多次调参和反复跑蒙特卡洛仿真之后，我个人最大的体会是：不完全信息下的Epsilon纳什均衡，不是"算出来"的，是"逼近出来"的。这句话的意思是，你在Matlab里不会像解线性方程那样得到一个精确解析解，你得到的是一组经过反复迭代、在允许误差范围内稳定的策略组合。看清这一点，整个代码框架的设计就顺了——你不需要一个完美无缺的求解器，你只需要一个足够快的迭代循环和一套清晰的收敛判定逻辑。

如果你也想复现类似工作，建议从一个小版本开始：固定逃方策略不变，只让追方做单边最优控制。这个简化版本跑通并画图确认没有原理性错误之后，再放开双方策略同时迭代。这个递进路线能省掉大量查错时间。

另外，关于工具链的一点个人倾向：Matlab做这类动态博弈仿真确实顺手，工具箱、绘图、矩阵运算都省心。但当策略搜索的网格细化到一定程度，可以考虑把核心策略搜索放到编译型语言或者并行循环里跑。Matlab的并行池对这类"每个样本独立仿真"的问题加速效果很明显，配置得当的话，时间能从半小时压到五分钟以内。跑蒙特卡洛实验时，这个收益基本是白捡的。