1.5 正则化与交叉验证
范数是一个数学概念，用来度量一个向量或矩阵的“大小”或“长度”。
你可以把它直观地理解为从原点到该点（向量）的距离。范数将向量映射成一个非负的数值，这个数值越大，表示向量“越长”或“越大”。
所以正则化项一般就是模型参数向量（所有参数作为分量构成的一个向量）的一个范数。它可以指示参数的“大小”，进而体现模型的复杂度。
奥卡姆剃刀原意是：“如无必要，勿增实体”——简单的解释往往比复杂的更好。
应用到模型选择上就是：在能正确拟合数据的前提下，选那个结构更简单的模型。
比如，一条直线能大致拟合数据，就不要用弯弯曲曲的高次曲线，否则可能只是“死记硬背”了训练数据（过拟合）。
从贝叶斯角度看，模型参数不是一个固定值，而是一个随机变量，有自己的先验分布（训练前我们对参数的已有信念）。
我们可以假设：简单的参数值（比如接近0或很多为0）出现概率大，复杂的参数（非常大或很多非零）出现概率小。
这正好对应：复杂模型 ↔ 较小的先验概率。贝叶斯定理告诉我们：后验概率 ∝ 似然（数据拟合度）× 先验概率。
最大化后验概率 ≈ 同时最大化拟合度 + 最大化先验概率。（参考数学基础复习那一篇）取负对数后，最大化后验就变成了最小化（损失函数 + 先验项的负对数）。
这个先验项的负对数，恰好就是正则化项。
1.6 泛化能力
定理解读：
1.7 生成模型和判别模型
1.8 监督学习应用
分类（主要考虑二分类）
将所求的类（主要关注的类）称为“正类”，其他所有类称为“负类”
True Positive False Positive
False Negative True Negative
精确率P：在预测为正类的数据之中 正确预测的数据
召回率R：在实际的正类数据之中 有哪些是预测正确的
希望精确率和召回率都是越高越好
调和值F1：P和R的调和平均值
