强化学习中的参数近似与无限期问题
1. 参数近似与神经网络训练
在参数近似中，神经网络的训练过程涉及前向传播和反向传播两个关键步骤：
-前向传播：通过网络的前向传递，按顺序计算线性层的输出，即 $L_1x, L_2\Sigma_1L_1x, \cdots, L_{m + 1}\Sigma_mL_m \cdots \Sigma_1L_1x$。这样做是为了获得矩阵 $\Sigma_n$ 中导数的计算点，同时得到误差向量 $e = y - F(L_1, \cdots, L_{m + 1}, x)$。
-反向传播：通过网络的反向传递，按顺序计算导数公式中的项，从 $e’L_{m + 1}\Sigma_m$ 开始，依次计算到 $e’L_{m + 1}\Sigma_mL_m\Sigma_{m - 1}$，最终到 $e’L_{m + 1}\Sigma_m \cdots L_2\Sigma_1$。
除了神经网络，还有其他使用多层架构的方法，如数据处理组方法（GMDH）。GMDH 主要基于多项式非线性（而非 S 型非线性），自 20 世纪 60 年代末以来在前苏联得到了广泛研究，已应用于多种领域，并且与神经网络方法有相似之处。不过，目前 GMDH 在近似动态规划（DP）方面尚未有应用，但在某些应用中，多项式非线性可能比 S 型或修正线性单元非线性更合适。
2. 顺序动态规划近似
对于有限期 DP 问题的近似架构 $\tilde{J}k(x_k, r_k)$ 的训练，常用的方法是拟合值迭代算法。该算法从期限的末尾开始，按顺序确定参数向量 $r_k$，即先确定 $
