基于深度强化学习的雾无线接入网资源管理与内容缓存策略
1. 深度强化学习资源管理基础模型
在雾无线接入网络（F-RAN）中，设备到设备（D2D）模式下的用户设备（UE）通信有着特定的接收符号公式。UE m 在 D2D 模式下的接收符号为：
[y_{D_m} = \sqrt{p_mh_mx_m} + \sum_{m’\in M, m’\neq m, s_{mode_{m’}} = 1} \sqrt{p_{m’}h_{m,m’}x_{m’}} + z_m]
其中，(p_m) 代表 UE m 的 D2D 传输功率，(h_m) 是 UE m 的 D2D 信道系数，(h_{m,m’}) 是 UE m’ 的干扰 D2D 信道系数。UE m 在 D2D 模式下的数据速率为：
[R_{(D)m} = \log\left(1 + \frac{p_m|h_m|^2}{\sum{m’\in M, m’\neq m, s_{mode_{m’}} = 1} p_{m’}|h_{m,m’}|^2 + \sigma^2}\right)]
1.1 计算模型
云计算中的计算资源消耗建模遵循特定规则。UE m 信号的编码和调制对应的计算资源消耗为：
[D_{m,1} = \beta R_m]
其中，(R_m) 表示 UE m 的数据速率。此外，为计算 UE m 的发射信号，云需要消耗的计算资源为：
[D_{m,2} = \alpha |v_m|0]
系统消耗的总计算资源为：
[D{system} = \sum_{m, s_{mode_m} = 0} (D_{m,1} + D_{m,
