tanh激活函数概述
tanh（双曲正切）激活函数是神经网络中常用的非线性激活函数之一，其输出范围在-1到1之间。数学表达式为：
$$ \text{tanh}(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$
特性分析
输出范围：tanh的输出范围为(-1, 1)，均值接近0，有助于中心化数据，缓解梯度消失问题。
导数计算：tanh的导数为： $$ \frac{d}{dx} \text{tanh}(x) = 1 - \text{tanh}^2(x) $$ 导数最大值为1（当x=0时），随着|x|增大逐渐趋近于0。
优缺点对比
优点：
- 输出以0为中心，梯度更新更稳定。
- 比sigmoid函数梯度更强，训练收敛更快。
缺点：
- 两端饱和区仍存在梯度消失问题。
- 计算量略高于ReLU系列函数。
适用场景
- 需要输出正负值的场景（如RNN、LSTM）。
- 隐藏层设计中对数据中心化要求较高时。
- 二分类任务的输出层（可替代sigmoid）。
代码实现示例（Python）
import numpy as np def tanh(x): return np.tanh(x) def tanh_derivative(x): return 1.0 - np.tanh(x)**2与其他激活函数对比
| 特性 | tanh | sigmoid | ReLU |
|---|---|---|---|
| 输出范围 | (-1, 1) | (0, 1) | [0, ∞) |
| 梯度消失风险 | 中等 | 高 | 低（正区间） |
| 计算效率 | 中等 | 中等 | 高 |
