神经网络之感知机（Perceptron）

机器学习（Machine Learning）系列

1、回顾

1957年，弗兰克·罗森布拉特（Frank Rosenblatt）提出了感知机模型，他的工作证明了通过简单单元的互联和简单的学习规则，可以涌现出强大的智能行为，这一核心思想至今未变。

弗兰克·罗森布拉特（1928-1971）是一位美国心理学家和计算机科学家，他在康奈尔航空实验室工作。他深受早期神经科学研究（如沃伦·麦卡洛克和沃尔特·皮茨的神经元模型）和赫布学习理论的影响。他的目标不仅仅是构建一个模式识别机器，更是想通过机器模型来理解大脑的学习机制。

这是第一个可以从数据中学习并进行模式分类的算法模型，被公认为是人工神经网络的起点。感知机虽简单且有局限，但它标志着机器学习从逻辑推理走向连接主义（Connectionism）的新纪元。

2、核心思想

感知机模拟了生物神经元的基本工作原理：

1.输入：接收多个输入信号w 1 、 w 2 、 w 2 . . . w n w_1、w_2、w_2...w_nw1​、w2​、w2​...wn​。这些输入可以是任何特征数据，比如图片的像素值、文本的词向量、样本的属性。
2.加强求和：每个输入都有一个对应的权重（w 1 、 w 2 、 w 2 . . . w n w_1、w_2、w_2...w_nw1​、w2​、w2​...wn​），用于衡量每个输入特征对最终决策的影响程度。神经元计算所有输入与权重的乘积之和。
3.激活：将加权和与一个阈值（或偏置）进行比较，通过一个激活函数产生输出。

• 如果加权和 ＞阈值(threshold)，输出 1（代表“激活”或某一类）。
• 如果加权和 ≤ 阈值(threshold)，输出 0（代表“抑制”或另一类）。

权重的取值不是固定的，感知机的“学习过程”，本质上就是调整这些权重，让决策结果更准确。

3、数学表达

数学表达主要包括两个部分：加权求和和激活函数。

3.1加权求和（Linear Combination）

给定输入向量x = [ x 1 , x 2 , … , x n ] \mathbf{x} = [x_1, x_2, \dots, x_n]x=[x1​,x2​,…,xn​]，权重向量w = [ w 1 , w 2 , … , w n ] \mathbf{w} = [w_1, w_2, \dots, w_n]w=[w1​,w2​,…,wn​]，以及偏置项b bb，感知机首先计算输入的加权和：

z = ∑ i = 1 n w i x i + b z = \sum_{i=1}^{n} w_i x_i + bz=i=1∑n​wi​xi​+b
也可以用向量内积的形式表示为：
z = w T x + b z = \mathbf{w}^T \mathbf{x} + bz=wTx+b
其中：

• z zz是线性组合的结果（净输入）；
• w T x \mathbf{w}^T \mathbf{x}wTx表示权重与输入的点积；
• b bb是偏置项，用于调整决策边界的位置。

3.2激活函数（Activation Function）

感知机通常使用阶跃函数（Step Function）作为激活函数。常见形式如下：

形式一：输出为 0 或 1

a = f ( z ) = { 1 , if z ≥ 0 0 , if z < 0 a = f(z) = \begin{cases} 1, & \text{if } z \geq 0 \\ 0, & \text{if } z < 0 \end{cases}a=f(z)={1,0,​ifz≥0ifz<0​

形式二：输出为 -1 或 1

a = f ( z ) = { 1 , if z ≥ 0 − 1 , if z < 0 a = f(z) = \begin{cases} 1, & \text{if } z \geq 0 \\ -1, & \text{if } z < 0 \end{cases}a=f(z)={1,−1,​ifz≥0ifz<0​

a aa是感知机的最终输出。

完整表达式

感知机的整体输出可表示为：

a = f ( w T x + b ) 其中 f ( z ) = { 1 , z ≥ 0 0 ( 或 − 1 ) , z < 0 \boxed{ a = f(\mathbf{w}^T \mathbf{x} + b) \quad \text{其中} \quad f(z) = \begin{cases} 1, & z \geq 0 \\ 0 \ (\text{或 } -1), & z < 0 \end{cases} }a=f(wTx+b)其中f(z)={1,0(或−1),​z≥0z<0​​

说明：

• 感知机适用于线性可分问题。
• 原始感知机使用不可导的阶跃函数，因此不能使用梯度下降直接训练；现代神经网络多采用 Sigmoid、ReLU 等可导激活函数。
• 感知机通过迭代更新权重和偏置来学习：

4、阈值（threshold）和偏置（bias）

在感知机模型中，阈值（Threshold）和偏置（Bias）是密切相关的概念。虽然它们出现在不同的表达形式中，但实际上描述的是同一个机制的不同视角。

4.1阈值与偏置的数学关系

1.使用“阈值”的原始形式

早期感知机定义为：

y = { 1 , if ∑ i = 1 n w i x i ≥ θ 0 , otherwise y = \begin{cases} 1, & \text{if } \sum_{i=1}^n w_i x_i \geq \theta \\ 0, & \text{otherwise} \end{cases}y={1,0,​if∑i=1n​wi​xi​≥θotherwise​

• θ \thetaθ：称为阈值（threshold）
• 只有当加权输入之和达到或超过θ \thetaθ时，神经元才被激活（输出 1）

2. 转换为“偏置”形式

将不等式变形：
∑ i = 1 n w i x i ≥ θ ⇒ ∑ i = 1 n w i x i − θ ≥ 0 \sum_{i=1}^n w_i x_i \geq \theta \quad \Rightarrow \quad \sum_{i=1}^n w_i x_i - \theta \geq 0i=1∑n​wi​xi​≥θ⇒i=1∑n​wi​xi​−θ≥0

令：
b = − θ b = -\thetab=−θ

则上式变为：

∑ i = 1 n w i x i + b ≥ 0 \sum_{i=1}^n w_i x_i + b \geq 0i=1∑n​wi​xi​+b≥0

此时感知机输出可写为：

y = { 1 , if w T x + b ≥ 0 0 , otherwise y = \begin{cases} 1, & \text{if } \mathbf{w}^T\mathbf{x} + b \geq 0 \\ 0, & \text{otherwise} \end{cases}y={1,0,​ifwTx+b≥0otherwise​

✅ 所以我们得出关键结论：

b = − θ \boxed{b = -\theta}b=−θ​

即：偏置 = 负的阈值

阈值θ θθ：输入需要超过的“门槛”
偏置b bb：用于平移决策边界

4.2如何直观理解“偏置”？

偏置b bb的作用是调节神经元的激活难度，你可以把它看作一个“灵活性开关”或“决策门槛控制器”。

生活例子：是否去参加聚会？

假设你根据两个因素做决定：

• x 1 = 1 x_1 = 1x1​=1：天气好
• x 2 = 1 x_2 = 1x2​=1：好朋友去

对应权重：

• w 1 = 0.6 w_1 = 0.6w1​=0.6：比较在意天气
• w 2 = 0.8 w_2 = 0.8w2​=0.8：很在意朋友是否去

情况 1：无偏置（b = 0 b = 0b=0）

z = 0.6 x 1 + 0.8 x 2 z = 0.6x_1 + 0.8x_2z=0.6x1​+0.8x2​
只要有一点理由就可能触发 → 容易去（低门槛）

情况 2：加上负偏置（b = − 1.5 b = -1.5b=−1.5）

z = 0.6 x 1 + 0.8 x 2 − 1.5 z = 0.6x_1 + 0.8x_2 - 1.5z=0.6x1​+0.8x2​−1.5
即使天气好但朋友不去：0.6 ( 1 ) + 0.8 ( 0 ) − 1.5 = − 0.9 < 0 0.6(1) + 0.8(0) - 1.5 = -0.9 < 00.6(1)+0.8(0)−1.5=−0.9<0→ 不去

👉偏置越大（正值），越容易激活；偏置越小（负值），越难激活。

4.3几何意义：偏置控制决策边界的平移

在二维空间中，感知机的决策边界是一条直线：

w 1 x 1 + w 2 x 2 + b = 0 w_1 x_1 + w_2 x_2 + b = 0w1​x1​+w2​x2​+b=0

• 权重w \mathbf{w}w决定这条线的方向（法向量）
• 偏置b bb决定这条线离原点的距离和平移方向

举例

• b = 0 b=0b=0：决策边界经过原点
• b > 0 b>0b>0：边界向输入空间负方向移动 → 更容易输出 1
• b < 0 b<0b<0：边界远离正区域 → 更难激活

✅ 类比考试及格线：

• 把及格线从 60 分降到 50 分 → 更多人通过（相当于b bb增大）
• 提高到 70 分 → 更严格（相当于b bb减小）