16、Caffe库：从基础配置到网络训练与评估

Caffe库：从基础配置到网络训练与评估

1. Caffe优化算法配置

在使用Caffe进行神经网络训练时，需要对优化算法进行详细配置。以下是关键配置参数的介绍：
-正则化类型：可设置为 “L1” 或 “L2”，用于约束模型参数，防止过拟合。
-梯度裁剪阈值：clip_gradients变量定义了最大范数正则化方法中的阈值。
-存储路径：Caffe会在每个快照迭代时，将权重和优化算法的状态存储在snapshot_prefix指定的文件夹中。利用这些文件，我们可以在训练后加载网络参数，或从特定迭代点恢复训练。
-计算设备：优化算法可以在CPU或GPU上执行，通过solver_mode变量指定。若有多个显卡，device_id变量可告知Caffe使用哪块显卡进行计算。
-优化算法类型：type字符串变量决定优化算法的类型。在后续示例中，我们将使用 “SGD”（小批量梯度下降），Caffe库还实现了其他优化算法，如Adam、AdaGrad、Nesterov、RMSProp和AdaDelta。

以下是一个solver.prototxt文件的示例：

net: '/tmp