[机器学习-从入门到入土] 拓展-范数

[机器学习-从入门到入土] 拓展-范数

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

范数

设向量
x = ( x 1 , x 2 , … , x d ) ∈ R d x=(x_1,x_2,\dots,x_d)\in\mathbb{R}^dx=(x1​,x2​,…,xd​)∈Rd

L 0 L_0L0​范数 (严格来说不是范数)

非零元素的个数:
∥ x ∥ 0 = # { i ∣ x i ≠ 0 } \|x\|_0 = \#\{i \mid x_i \neq 0\}∥x∥0​=#{i∣xi​=0}

# ( 某个集合 ) \#(\text{某个集合})#(某个集合): 表示集合中元素的个数

• 直接度量稀疏性-> 理论上的“理想稀疏约束”
• 不关心数值大小，只关心“是不是 0”

优化性质:

• ❌ 非凸
• ❌ 非连续
• ❌ NP-hard（组合优化）

L 1 L_1L1​范数

稀疏性的凸替身
∥ x ∥ 1 = ∑ i = 1 d ∣ x i ∣ \|x\|_1=\sum_{i=1}^d |x_i|∥x∥1​=i=1∑d​∣xi​∣
优化性质:

• ✅ 凸
• ❌ 不光滑（0 点不可导）

典型用途:

• Lasso 回归

  min ⁡ w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 1 \min_w \|y-Xw\|_2^2+\lambda\|w\|_1minw​∥y−Xw∥22​+λ∥w∥1​

L 2 L_2L2​范数

能量与稳定性
∥ x ∥ 2 = ( ∑ i = 1 d x i 2 ) 1 / 2 \|x\|_2=\left(\sum_{i=1}^d x_i^2\right)^{1/2}∥x∥2​=(i=1∑d​xi2​)1/2
优化性质:

• ✅ 凸
• ✅ 光滑
• ✅ 强凸（数值稳定）

典型用途:

• Ridge 回归 (岭回归)

  min ⁡ w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 2 2 w \min_w \|y-Xw\|_2^2+\lambda\|w\|_2^2wminw​∥y−Xw∥22​+λ∥w∥22​w

L p L_pLp​范数

∥ x ∥ p = ( ∑ i = 1 d ∣ x i ∣ p ) 1 / p , p ≥ 1 \|x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p},\quad p\ge 1∥x∥p​=(i=1∑d​∣xi​∣p)1/p,p≥1

• p pp越小 → 越稀疏，但越难优化
• p pp越大 → 越平滑，但越不稀疏

严格意义上，只有p ≥ 1 p\ge 1p≥1时才是“范数”

极限情形:

• p → 0 p\to 0p→0：趋近L 0 L_0L0​
• p → ∞ p\to\inftyp→∞：∥ x ∥ ∞ = max ⁡ i ∣ x i ∣ \|x\|_\infty=\max_i |x_i|∥x∥∞​=maxi​∣xi​∣

范数的等值线

在二维情况下:x = ( x 1 , x 2 ) ∈ R 2 x=(x_1,x_2)\in\mathbb{R}^2x=(x1​,x2​)∈R2

范数的等值线:

• ∥ x ∥ p = 1 \|x\|_p = 1∥x∥p​=1：一条曲线
• ∥ x ∥ p ≤ 1 \|x\|_p \le 1∥x∥p​≤1：这条曲线围成的区域

各范数的情况:

• L 0 L_0L0​: x轴与y轴
  (当y有值时x=0, 当x有值时y=0)
• L 1 L_1L1​: 菱形
  (顶点是( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1)(−1,0),(1,0),(0,1),(0,−1))
• L 2 L_2L2​: 圆
  (经过( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1)(−1,0),(1,0),(0,1),(0,−1))