机器学习入门核心术语详解：从特征到泛化

直接说结论：机器学习入门最难的坎，不是数学，不是编程，而是第一周就被各种术语砸晕。“特征”“标签”“过拟合”“泛化”“监督学习”这些词，单独看每个字都认识，凑在一起就不知道在说什么。我见过太多人卡在这一步——收藏了一堆教程，打开一本西瓜书，翻到第一章就放弃。其实没必要，术语这关过了，后面整个体系就顺了。这也是为什么我一直强调，学机器学习一定要先花时间把基本术语吃透，而不是一上来就调库跑模型。

这篇文章就用一个贯穿全文的例子——“让机器认识猫”，把机器学习里最核心的基本术语挨个讲清楚。我会告诉你每个词背后解决的是什么问题，而不是给你一堆干巴巴的定义。不管是刚入门的新手，还是准备期末复习、面试突击的读者，把这套术语串起来，你再看任何教程都不会有那种“每个字都认识但不知道在说什么”的感觉了。

1. 先搭骨架：数据、样本、特征、标签是绕不开的地基

1.1 从“认识猫”说起：机器到底在看什么

假设你想让计算机自己学会辨认一张图片里有没有猫。很多人第一反应是：把图片给电脑看，它不就知道了？问题是，电脑看到的不是“毛茸茸的、会喵喵叫的”那个概念，它看到的是一堆像素点的数值。一张 224x224 的彩色图片，在电脑眼里就是 224x224x3 个数（长乘宽乘三个颜色通道，RGB 各一个）。

这里就引出了机器学习里最基础的一组词：数据、样本、特征、标签。

• 数据（Data）：你手里所有用来学习的素材集合。比如你收集了 1 万张图片，其中 5000 张是猫，5000 张不是猫，这一批素材就是数据。
• 样本（Sample）：数据里的每一条个体。一张猫图片就是一个样本。平时听人说“样本量”“抽样”，指的就是样本。
• 特征（Feature）：描述这个样本的属性，在图片场景里通常指像素值。如果你做的是一个简单任务，特征也可以是人手工设计的，比如“耳朵是不是尖的”“有没有胡子”“体型多大”。
• 标签（Label）：样本对应的标准答案。一张图里是猫，标签就是“猫”；不是猫，标签就是“非猫”。

这四者的关系用一句话概括：数据是由无数个带特征的样本组成的，标签是这些样本对应的正确答案。机器学习的核心流程，就是告诉计算机——“你看，这些样本配上这些特征，它们的正确答案是这些标签，你从里面找一个规律出来。”

1.2 特征工程：喂给机器的“数字描述”

刚才说了，机器只能处理数字。所以“特征”必须是一个一个可以计算的数值，而不是一堆形容词。你不可能直接扔给计算机一句“这张图的猫是橘色的、很胖”，你得把它变成“颜色通道均值是 210.5，轮廓周长是 180 像素”这种形式。

把原始数据变成模型能吃的数值化特征，这个过程叫特征工程（Feature Engineering）。在传统的机器学习里，特征工程是决定模型上限的关键。你特征设计得好不好，直接决定模型能学到什么程度。比如你要判断猫和狗，你提取“耳朵形状”“吻部长度”这些特征，效果就会比只用“图片整体亮度”好得多。

这里要补一个词：特征向量（Feature Vector）。一个样本的所有特征排成一列，就是特征向量。比如你用 4 个特征描述一张图片：颜色均值、边缘数量、耳朵尖度、体型，那每个样本就是一个四维向量，写成 [210.5, 35, 0.8, 12]。你还会听到“维度灾难”这种说法——当特征向量的维度特别高时（比如直接拿全部像素当特征，几万维），数据会变得稀疏，很多模型就不好用了。所以特征工程里也有“降维”这种操作，把重要的特征留下来。

但是先别急着抠细节。你现在只需要记住：特征是模型的输入，标签是模型的输出标准，样本是载体，数据是全集。这四个词是所有后续术语的基础，后面的模型、训练、测试，全是在这四个概念上长出来的。

2. 数据集的切分逻辑：训练集、验证集、测试集各司其职

2.1 为什么不能用全部数据来训练

如果手里有 1 万张猫图，能不能全部拿去训练？答案是：不能。原因很简单——你要检验学得怎么样。

想象你背了一本练习册，把每道题的答案都背得滚瓜烂熟。这时候你拿练习册里的题去考自己，肯定能拿满分，但这能说明你学会了吗？不能，你可能只是背答案，而不是掌握了解题方法。真到了考试，换上从没见过的新题目，你未必会做。

机器学习也是一样的道理。训练的目的是让模型在“没见过的数据”（新图片）上也表现好，这叫泛化能力（Generalization）。为了验证有没有泛化能力，我们必须留出一部分数据，假装它们不存在，等模型训练完之后再去考它。于是就有了数据集的切分。

2.2 三个集：训练集、验证集、测试集

最常见的划分是三分法：

• 训练集（Training Set）：用来拟合模型的数据。模型通过看训练集里的样本和标签，学习输入到输出的映射关系。
• 验证集（Validation Set）：用来调参和选择模型。每次调完参数，先在验证集上看看效果好不好，再决定要不要继续调。它的角色是“模拟考”。
• 测试集（Test Set）：整个训练过程完全结束之后，才用来做最终检验的数据。它是“正式高考”，模型绝对不能提前接触。

这里有一个新手最容易犯的顺序错误：训练的时候反复看测试集的表现来调参。一旦这么干，测试集的信息就“泄漏”到了模型调参决策中，最后测试集的分数就不准了，看起来效果好，实际换新数据就翻车。标准的流程是：用训练集训练 → 用验证集调参 → 再用测试集做最终评估。测试集一辈子只能用一次，用完就废了。

2.3 校准集：一个容易被忽视但很实用的角色

有很多教材只讲“训练集、验证集、测试集”三分法，但在实际工程里还有一个更细致的角色——校准集（Calibration Set）。

什么叫校准？很多模型输出的不是直接的类别判断，而是一个概率，比如“这张图是猫的概率 87%”。但这个概率不一定准确，模型可能过分自信，也可能太保守。我们希望在阈值上做个调整，比如原本默认“概率大于 50% 就算猫”，但实际数据里可能存在类别不平衡，或者误判猫比漏判猫的代价更高，那就可以把阈值调高到 70%。这个调整阈值的环节，就需要用校准集来尝试不同的阈值，找出最合适的那个。

简单理解：校准集是验证集的“进阶版”，专门用来把模型的输出从“相对分数”调成“可信概率”。做比赛或者做工程的时候，校准能实实在在提升效果。网上很多人说“为什么我的准确率到 90% 就上不去了”，有时候不是因为模型不行，而是因为他没做阈值校准，或者没有专门留校准集去调这一步。你要是看到某个开源项目里有 calibration 这个词，知道这是校准就好，这是工程里很常见的一步。

2.4 交叉验证：数据不够用时的周转方案

现实场景里数据往往不够多。如果你只有 2000 张图，再切成 70% 训练、15% 验证、15% 测试，训练数据就剩 1400 张，不太够用。这时候就有交叉验证（Cross-Validation）。

最常见的叫 K 折交叉验证。以 5 折为例：把训练数据分成 5 份，每次拿 4 份训练、1 份验证，轮流来 5 次，最后把 5 次的分取平均。这样每份数据既当过训练数据，也当过验证数据，用得更充分。交叉验证在调参和模型选型的时候尤其有用，因为它的得分比单次划分更稳定，不容易因为某一次“运气好”或者“运气差”就做出错误判断。

3. 模型是怎么“学”出来的：训练过程里的那些术语

3.1 模型、算法、学习器：一字之差，意义完全不同

很多人会把模型和算法混着用，但实际上它们是两个层面的东西。

• 算法（Algorithm）：是指“用来学习”的方法，比如线性回归算法、决策树算法、支持向量机算法。它是一套固定的流程，不是具体的结果。
• 模型（Model）：是算法跑完训练数据之后得到的产物，是“学到的那个规律”。比如线性回归算法在数据上训练完，得到了一条趋势线 y = 2.5x + 1.3，这条趋势线就是一个模型。
• 学习器（Learner）：是一个更学术的叫法，学界喜欢把从数据中学习的算法称为学习器。你在周志华老师的《机器学习》（西瓜书）里经常能看到这个词，它本质上表达的就是“能通过经验改善自身的程序”。

举个例子帮助理解：做菜。算法是“菜谱”，模型是你按照菜谱做出来的一盘鱼香肉丝。菜谱是通用的，但每个人按菜谱做的菜，因为食材火候不同，结果有差异。模型就是这一批数据下训练出来的那个独一无二的结果。

还有一个高频词叫学习（Learning），在机器学习里它不是一个过程性的动作，而是指“从数据中自动总结规律的能力”。所谓的“机器学习”，准确说是让程序在数据驱动下自动改善自身性能，而不用人类显式地编写每个判断规则。

3.2 损失函数：机器为什么知道自己错了

训练的本质是调参数，但调参之前得先知道“现在有多烂”。于是有了损失函数（Loss Function）。

损失函数是一个衡量“模型预测值和真实标签差距”的函数。预测对了，损失小；预测错了，损失大。整个训练过程，就是在不断调整模型参数，让损失函数的值尽量小。可以把它理解成一个“记分牌”：每做一次预测，记分牌就跳出一个数字，数字越低说明表现越好。

常见的有均方误差（MSE，多用于回归问题）和交叉熵（Cross-Entropy，多用于分类问题）。均方误差就是把每个样本的预测值和真实值的差平方后求平均；交叉熵衡量的是模型预测的概率分布和真实分布的差异。这里不需要背公式，但要记住：选择不同的损失函数，就是选择不同的“好坏标准”。同样是图像分类，用交叉熵通常比用均方误差更适合，因为它对概率分布更敏感，梯度更好更新。

3.3 参数与超参数：谁在训练过程中被更新

• 参数（Parameters）：模型自己学出来的东西，是模型内部的可变部分。线性回归里的 w 和 b，神经网络的权重和偏置，这些都是在训练中通过数据不断更新得到的。
• 超参数（Hyperparameters）：在训练开始之前，由人设定的值。比如学习率设多少、树的最大深度、神经网络的层数、迭代多少轮。超参数不是模型自己学的，而是靠人的经验或搜索策略去调。

一个特别容易混淆的点是：训练过程更新的是参数，而不是超参数。超参数一变，训练出来的模型参数也会变。所以“调参”这个词，虽然大家经常说，但严谨讲应该叫“调超参数”。你去 Kaggle 上看到别人分享“我把学习率设成 0.001 效果最好”，说的就是超参数调优。

3.4 梯度下降、批次与轮次：训练循环是怎么转起来的

梯度下降（Gradient Descent）是最核心的优化算法。它的思想非常朴素：既然我们要让损失变小，那就沿着损失函数下降最快的方向走一步，再重新计算损失，再走下一步，直到走到一个低点。现实中你找不到山谷的最低点，但你能感受到脚下的坡度，哪边下坡你就往哪边走——这就是梯度下降的直观图景。

训练的时候数据也不是一次全塞进去。你经常听到三个词：

• 批次（Batch）：每次更新参数用的一小撮样本。一次用一个样本叫随机梯度下降（SGD），一次用一小部分叫小批量梯度下降（Mini-batch Gradient Descent），一次性用全部叫批量梯度下降。
• 轮次（Epoch）：把所有训练样本完整地过一遍，叫一个 epoch。通常需要跑多个 epoch 才能把损失降到足够低。
• 迭代（Iteration）：每用一批次更新一次参数，算一次迭代。

举个例子方便理解：你有 1000 张训练图片，设 batch size = 100。那么一个 epoch 里有 1000 ÷ 100 = 10 次迭代，跑完这 10 次迭代更新了 10 次参数，才算跑完一个 epoch。如果设 total epochs = 20，那整个训练过程要跑 20 轮，参数总共更新 200 次。

4. 泛化：机器学习真正的灵魂，也是最容易翻车的地方

4.1 泛化能力与泛化误差：衡量标准只有一个，看新数据

前面提到了泛化能力。这里需要展开讲，因为它是机器学习里最核心的概念，没有之一。

泛化能力（Generalization）指模型对新样本的适应能力。你在数据上训练模型，最终目标不是让它记住训练集里的每一张猫脸，而是让它看到一只从未见过的猫也能认出来。这个能力好不好，要用测试集来评估。用测试集算出来的误差，就是我们常说的测试误差（Test Error）；而模型在不知道真实分布时，理论上能在全体样本上达到的误差期望，叫做泛化误差（Generalization Error）。

有读者可能看到过“泛化误差界”这个热搜词。这是机器学习理论里的内容——我们没法直接测量真正的泛化误差（因为拿不到全宇宙所有数据），但理论上可以证明，当训练样本足够多、模型复杂度合适时，泛化误差会以很大的概率被一个上界约束住。简单说，泛化误差界就是“我们有多大的信心，模型在新数据上的表现不会差到离谱”。虽然入门不需要深入推导这个数学理论，但理解“泛化误差”和“训练误差”这组对照关系，对后面理解过拟合非常有帮助。

4.2 过拟合与欠拟合：模型学习的两大极端

• 欠拟合（Underfitting）：模型太简单，连训练数据里的规律都没学到。就像你复习完全没背重点，连原题都做不对。表现是训练误差高，测试误差也高。
• 过拟合（Overfitting）：模型复杂过了头，把训练数据里没必要的噪声和细节也全背下来了。就像你背书把自己个性化的答题习惯都当成标准答案记下来，结果换张新卷子就崩。表现是训练误差很低，但测试误差高。

怎么判断过拟合？最简单的办法就是盯着训练集和验证集的误差曲线看——训练误差一直降，验证误差降了一段时间之后开始回升，那个回升的“拐点”就是过拟合开始发生的地方。

应对过拟合的常用手段包括：增加训练数据、降低模型复杂度（比如减少神经网络的层数）、引入正则化、做数据增强（对图片做随机裁剪、翻转、调色，让模型见到更多变化）。应对欠拟合则相反——换更复杂的模型、增加特征、减少正则化强度。

为了更直观，我把这两个问题对照一下：

4.3 偏差与方差：从另一个角度理解泛化误差

很多教材会提到偏差-方差分解（Bias-Variance Decomposition）。这是理解泛化误差的一种数学工具，但入门阶段只需要理解直觉。

• 偏差（Bias）：模型预测的平均值和真实值的差异。偏差大，说明模型系统性地预测错了，一般对应欠拟合。
• 方差（Variance）：模型预测结果在不同训练集上的波动程度。方差大，说明模型对数据的细节太敏感，换一批数据结果就大变，一般对应过拟合。

回到打靶的类比：偏差是子弹散落中心是否偏离靶心，方差是子弹是否密集。理想情况是既准又集中。现实中，偏差和方差往往此消彼长，这就叫偏差-方差权衡。模型简单，偏差大方差小；模型复杂，方差大偏差小。调模型的过程其实就是在找这个平衡点。

4.4 正则化：给模型“上枷锁”

正则化（Regularization）是对付过拟合最常用的武器之一。它的思路是：在损失函数后面加一个惩罚项，限制模型的参数不能太大。参数太大会导致模型对细微变化过于敏感，加上惩罚项之后，模型就被“约束”得平滑一些。

最常见的两种是 L1 正则化和 L2 正则化。L1 倾向于让一部分参数变成 0，适合做特征选择；L2 倾向于让参数整体变小但不会变成 0，更常用。哦对了，你一定听过 dropout——深度学习里的 dropout 就是随机把一部分神经元暂时“屏蔽”掉，人为制造稀疏，防止网络过于依赖某条路径，这也可以理解成一种正则化手段。

4.5 评估指标：怎么量化“模型好不好”

测试集上预测完，怎么打分？这是个术语密集区，也是期末和面试的高频考点。

• 准确率（Accuracy）：预测正确的样本数占所有样本的比例。但它有一个大坑——如果 99% 的样本是“非猫”，模型全预测“非猫”也有 99% 准确率，可它一个猫都认不出来。
• 精确率（Precision）：在所有被模型预测为“猫”的结果里，真的是猫的比例。它衡量的是“模型说是猫的时候，靠不靠谱”。
• 召回率（Recall）：在所有真的猫里，被模型找出来的比例。它衡量的是“模型有没有漏掉猫”。
• F1 分数（F1-Score）：精确率和召回率的调和平均，用来综合两者。
• 混淆矩阵（Confusion Matrix）：把预测结果分成四类组合——真正例、假正例、真负例、假负例，给人非常直观的判断。
• AUC：是指 ROC 曲线下的面积，AUC 越接近 1 越好。它反映模型将正样本排在负样本前面的能力，对类别不平衡相对不敏感。

在医疗、风控场景里，精确率和召回率的取舍很重要。比如检测猫的时候，如果把“狗”误判成“猫”代价很小，那可以牺牲精确率提高召回率；但如果是在做“病变检测”，漏诊的代价更大，就得更注重召回率。选哪个指标，取决于业务要什么，没有任何指标是万能的，这就是为什么入门阶段一定得把每个指标的真实含义搞清楚。

5. 任务类型与学习范式：别再把“超类”混为一谈

5.1 监督学习、无监督学习、半监督学习、强化学习

这个分类是机器学习最常见的划分维度。

• 监督学习（Supervised Learning）：训练数据里既有特征，又有标签。比如“图片 + 是猫/不是猫”的答案。上一节提到的分类和回归都属于监督学习。
• 无监督学习（Unsupervised Learning）：训练数据只有特征，没有标签。你要做的是从数据中自己找结构。最典型的任务是聚类（Clustering），把数据分成几堆，每一堆内部相似。比如拿到一批用户行为数据，不做任何标注，让算法自动把用户分成几类，再用人工去命名。
• 半监督学习（Semi-Supervised Learning）：一部分数据有标签，一部分没有。现实中打标签很贵（要人工标注），但没标签的数据大量存在。半监督学习利用数据分布的结构，让没标签的数据也帮忙训练，性价比很高。
• 强化学习（Reinforcement Learning）：没有现成的答案，只有环境给的奖励或惩罚。模型通过不断尝试，学习哪个动作能得到更多累积奖励。AlphaGo 下围棋用的就是强化学习的思路，还有个经典场景是训练机器人走迷宫。

很多人容易把“无监督”和“强化学习”搞混。一句话区分：无监督是“没有标准答案，自学结构”，强化学习是“没有标准答案，但有反馈信号，通过试错学到策略”。反馈不是正确答案，只是一个分数或奖励，模型要自己摸索怎么拿高分。

5.2 分类、回归、聚类、降维：按任务类型再看一遍

• 分类（Classification）：输出是离散的类别。比如“猫/狗/鸟”。
• 回归（Regression）：输出是连续的数值。比如预测房价、预测明天温度。
• 聚类（Clustering）：无监督任务，把相似样本自动分组。
• 降维（Dimensionality Reduction）：把高维数据压缩到低维，同时尽量保留关键信息，方便可视化或加速计算。

判断是分类还是回归，就看输出是离散标签还是连续数值，这是入门阶段最容易判定的两个任务。聚类和分类虽然中文听起来差不多，但本质上完全不同：分类有标签，是监督学习；聚类没有标签，是无监督学习。

5.3 人工智能、机器学习、深度学习：三者到底是什么关系

这个关系网上的图很多，但核心就一句话：人工智能是最大的范畴，机器学习是实现人工智能的一种主流方式，深度学习是机器学习的一个子集。

• 人工智能（AI）：让机器表现出智能的总称，范围最大。早期的专家系统也算 AI，但它不需要学习，靠人类规则直接写死。
• 机器学习（Machine Learning）：AI 的一个分支，强调从数据中自动学习规律，而不靠人写死规则。
• 深度学习（Deep Learning）：机器学习下的一个分支，核心是多层神经网络，通过大量层级的特征组合提取复杂规律。现在图像识别、自然语言处理里效果最好的基本都是深度学习方法。

很多人会有个疑问：既然深度学习这么强，为什么还要学传统机器学习？答案是：深度学习往往需要大量数据和算力，而传统机器学习在小数据、可解释性要求高、资源有限的场景里仍然不可替代。你做一个需要向领导解释决策依据的风控或医疗模型，用线性回归或决策树比用深度神经网络更合适。所以真正入门的路径，一定是先吃透传统机器学习的基本范式，再去看深度学习。

另外我还见到一个很常见的说法：“机器学习模型”和“深度学习模型”。其实深度学习模型本身也是机器学习模型的一种，只是它靠神经网络这种特殊结构来做特征表达。区分它们不是看模型名字，而是看有没有多层神经网络、数据量和算力门槛高不高。

6. 把术语串起来跑一遍流程，比单背十个定义有用得多

6.1 一个真实的迷你项目流程：从原始图片到部署

与其一个个背术语，不如把一个机器学习项目从头到尾的流程走一遍，每个环节对照刚才介绍过的术语，你会发现它们全部串起来了。

第一步，收集数据。你要识别猫，从网上爬了 5000 张猫图和 5000 张非猫图。这时候你处理的是原始数据。

第二步，划分数据集。把 1 万张图按 8:1:1 分成训练集、验证集、测试集。记住这个口决：训练集用来学，验证集用来调，测试集用来考，测试集绝对不能提前碰。

第三步，特征工程。图片不是直接塞给传统模型的，先把图像缩放、像素归一化，再提取颜色直方图、边缘特征等。在现代深度学习里，这一步很多时候被神经网络替代了，网络自己从原始像素学特征，但你得先熟悉特征这个概念。

第四步，选模型和损失函数。图像分类任务，传统机器学习可以选支持向量机，深度学习可以选卷积神经网络。分类任务损失函数用交叉熵。

第五步，训练。把训练集一批批喂进模型，用梯度下降更新参数，记录训练损失。设好超参数——学习率、batch size、epoch 数量。每个 epoch 结束，到验证集上看一下效果。

第六步，调参。如果验证集上准确率不理想，回去改超参数、加正则化、做数据增强。这时候用验证集来选最优的超参数组合。

第七步，校准集与阈值调整。如果业务要求“宁可多报，不可漏报”，就把阈值调低一点，用校准集验证调整后的效果。

第八步，最终评估。所有调试结束后，用测试集跑一次，记录准确率、精确率、召回率，写在项目报告里。

第九步，部署上线。把训练好的模型接到实际环境中。之后还要继续收集新数据，做模型迭代——因为真实世界的数据分布可能一直在变。

这几步做一遍，你会发现自己对术语的记忆牢固得多。学校实验室搭机器学习服务器、配置 Python 环境、跑开源项目，本质上都只是在为这九步流程提供工具，术语骨架才是真正的核心。

6.2 面试与期末复习：最容易被追问的 10 个术语陷阱

结合我之前带新人的经验，把那些高频考题和容易踩的坑统一列一下，你可以拿来自测：

面试官特别爱问的一个组合是：“你训练误差很低但测试误差很高，是什么问题？怎么解决？”听到这种问题，脑子里立刻要弹出：过拟合。然后紧接着给出对策：加正则化、加数据、增强、交叉验证、早停。能把这套话连贯说出来，这关就过了。

6.3 给零基础的学习路线建议：先记术语骨架，再逐步扩展

最后给一条我比较推荐的学习路径，也顺便解释一下那些热搜词背后的学习场景。

第一阶段，先把本文这套基本术语过一遍，能在不看笔记的情况下，自己画出一个“数据→训练→评估→上线”的完整流程图，每个环节能说出对应的术语。这时候你已经有骨架了。

第二阶段，选一门课程系统学。吴恩达老师的机器学习课程和李宏毅老师的课程都是很经典的入门资源，西瓜书（周志华《机器学习》）适合作参考书，遇到一个术语不确定就去翻对应章节。网上的理论学习如果一开始看到“泛化误差界”这种数学推导太抽象，先跳过，知道它是“关于泛化能力的理论保证”就够了，等后面数学基础跟上再回来看。

第三阶段，动手跑一个小项目。不用一上来就挑战人脸识别这种复杂项目，先做一个“猫狗分类”或者“手写数字识别”。有条件就在自己的笔记本上用 Python 配好 Jupyter 环境，没有的话可以用学校实验室的机器学习服务器。过程中遇到环境配置问题很正常，这是每个机器学习工程师都必经的一段路。

第四阶段，吃透一门算法的细节。比如把线性回归从损失函数到梯度下降细节全部手推一遍，再看逻辑回归，再看决策树，再过渡到神经网络。这些模型本质上都是“损失函数 + 优化算法 + 模型结构”的组合，你把框架吃透了，换模型只是换这三位成员而已。

我个人带新人的时候最深的体会是：术语不是用来背的，是用来“对号入座”的。每学一个新算法，问自己三个问题——它的输入特征是什么？它的输出是什么？它用哪个损失函数、怎么更新参数？能把这些问题答清楚，就说明你真的把术语吃透了。当你做到这一步，后面再接触什么深度学习、自然语言处理，都不会觉得是在学新世界，只是在这个骨架上填新的模型和玩法而已。