机器学习数据预处理实战：清洗、转换、降维与数据泄漏防范

1. 预处理决定了模型性能的天花板在哪

同样一份数据，同样一个 XGBoost，两个人跑出来的 AUC 差 0.06，这种情况我在实际项目里遇到过不止一次。复盘下来，差异几乎从来不在调参上，而在前面那几百行没人愿意写、也最不出彩的预处理代码里。模型本身是个拟合器，它做的唯一一件事就是找输入特征和标签之间的映射关系，输入里有什么噪声、什么量纲错位、什么被悄悄泄露的信息，它照单全收。所以那句话其实说得挺实在：模型的上限由数据和特征决定，算法的任务只是逼近这个上限。

这篇内容想聊的就是这件事——数据预处理到底在做什么、每一步背后的判断依据是什么、哪些操作看起来合理但实际上是坑。它适合刚入门机器学习、正在从"跑通 demo"往"能出活"过渡的人，也适合已经写过一些项目、但总是感觉模型效果"差口气"却找不到原因的人。文中涉及的代码以 Python 生态为主，pandas、scikit-learn 这些，因为这是目前门槛最低、复用性最好的组合；但里面的判断逻辑跟工具无关，用 Spark、用 SQL、甚至用 Excel 手工做，思路是一样的。

我习惯把预处理拆成三条主线来看，这个划分方式对我理清思路帮助很大：

• 清洗（Cleaning）：处理缺失值、异常值、重复记录、格式不一致、单位混乱。目标是让数据的"物理形态"先正确，不追求效果提升，只求不引入错误。
• 转换（Transformation）：缩放、编码、分布变换、构造新特征。目标是让数据"长得适合模型吃"，解决量纲、类型、分布形态的问题。
• 降维（Reduction）：特征选择、特征提取。目标是压缩信息密度，降低维度灾难和过拟合风险，同时压计算成本。

这三者不是必须全做，而是按数据实际情况挑选。很多人一上手就想把三样全上一遍，结果把一个本来只有 12 个特征的小数据集硬生生 PCA 压到 5 维，信息损失比收益大得多。判断要不要做某一步，比会做这一步更重要，后面每个章节我都会把"什么时候该做、什么时候别做"讲清楚。

2. 数据清洗：先让数据在物理上是对的

2.1 缺失值不是"填个均值"就完事

统计缺失率的动作，很多人跳过直接进填充，这是第一个坏习惯。我通常先做三件事：算每一列的缺失比例、看缺失是不是随机、看缺失本身有没有信息量。第一件事最简单，df.isna().mean()就够了。第二、三件事才是关键。

缺失机制分三种：完全随机缺失（MCAR）、随机缺失（MAR）、非随机缺失（MNAR）。举个具体例子，一份用户行为表里"上次登录时间"大量为空，如果这是因为新注册用户还没登录过，那缺失和"用户是新人"强相关，属于 MAR 甚至 MNAR，此时盲目填充一个全局中位数，等于把新老用户抹平，模型反而学不到"从未登录"这个强信号。

我的处理优先级是这样的：

填充方式的选择也有讲究。数值型特征如果分布接近对称，用中位数比均值更稳，因为均值会被长尾拽偏；如果特征之间有强相关，用 KNN 或者迭代填充（IterativeImputer）能利用列间关系，效果通常比单列统计量好。类别型特征我会单独留一个"Unknown"类别，而不是用众数填，这样模型的树分裂可以直接把"未知"切成一个独立分支。

import pandas as pd import numpy as np # 先看缺失分布，别急着填 missing = df.isna().mean().sort_values(ascending=False) print(missing[missing > 0]) # 对高缺失但可能有意义的列，加缺失指示器 df["last_login_is_missing"] = df["last_login_days"].isna().astype(int) # 数值列用中位数填充，类别列单独归为 Unknown num_cols = df.select_dtypes(include=np.number).columns cat_cols = df.select_dtypes(include="object").columns df[num_cols] = df[num_cols].fillna(df[num_cols].median()) df[cat_cols] = df[cat_cols].fillna("Unknown")

注意：填充用的统计量必须只从训练集计算，再应用到验证集和测试集。这一点在后面讲数据泄漏时还会展开，但这里先埋个钉子。

2.2 异常值：先分清是录入错误还是真实信号

发现异常值的第一反应不应该是删，而是问一句：这个值有可能是真的吗？我在一个能耗预测项目里遇到过某天用电量是平时的 40 倍，查下来是传感器故障导致的重复上报，这是错误，删掉；但另一个项目里某些用户的下单金额是普通用户的 50 倍，查下来是团购大客户，这是真实业务信号，删掉反而破坏分布。

识别方法上，我常用的组合是箱线图 IQR 规则加 Z-Score，再叠加业务规则：

• IQR 规则：[Q1 - 1.5*IQR, Q3 + 1.5*IQR]之外视为离群。它对分布形态没假设，鲁棒性好，是我默认的第一选择。
• Z-Score：|x - mean| / std > 3。适合近似正态的分布，但对极端值敏感，因为极端值本身会拉高 std，导致判定阈值被"污染"。
• 分位数截断：直接按 1% 和 99% 分位做缩尾（Winsorize），保留记录但压住数值，适合极端值确实存在但不想让它主导梯度的情况。

q1, q3 = df["amount"].quantile([0.25, 0.75]) iqr = q3 - q1 lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr # 只标记，不直接删，先人工或规则复核 df["amount_outlier"] = ((df["amount"] < lower) | (df["amount"] > upper)).astype(int) # 确认是错误值后再缩尾 df["amount_clipped"] = df["amount"].clip(lower, upper)

这里有个反直觉的经验：对树模型来说，异常值的影响远小于对线性模型和神经网络的影响。树模型做的是阈值切分，一个异常值最多让它多切一刀；但线性回归和神经网络会对大数值的样本产生巨大梯度，一个异常点能把整个拟合方向带歪。所以是不是要处理异常值，也要看下游用什么模型。

2.3 重复值与一致性问题：最不显眼但最伤评估

重复行不一定是完全相同的两行。真实场景里更常见的是"业务主键重复但字段略有差异"，比如同一个订单 ID 出现两次，一次金额 100、一次 100.0，或者时间戳差了 2 秒。这种重复如果不处理，会造成两个后果：一是训练集和测试集里出现同一条记录的不同副本，评估分数虚高；二是类别不平衡问题被放大。

排查顺序我一般这样走：

1. 按业务主键去重，保留最新一条（或按业务规则保留）;
2. 检查类别标签的一致性，同一 ID 出现两个不同标签的要单独拉出来看，这通常意味着标注流程有问题；
3. 检查数值列的单位和精度，比如有的列是"元"、有的是"分"，有的金额被存成了字符串还带千分位逗号。

一致性问题往往比缺失值更隐蔽。我见过一次模型在离线评估 AUC 0.86、上线后掉到 0.62，最后定位到是训练集里的"城市"字段用的是拼音，而线上数据用的是中文，类别编码器对不上，全被当成未知类别处理了。这类问题没有任何工具能自动帮你发现，只能靠把每一步的输入输出打出来看。

3. 数据转换：让不同特征站在同一起跑线上

3.1 标准化还是归一化，取决于模型和分布

这个问题的标准答案通常是"看模型"，但我想说得更具体一点，因为它其实取决于两件事：模型对量纲的敏感度，以及特征的分布形态。

距离类与梯度类模型对量纲敏感：KNN、K-Means、SVM、PCA、逻辑回归、神经网络。这些模型的损失函数或者距离计算里直接包含了特征数值，一个取值范围 0 到 100000 的"收入"字段会把取值范围 0 到 1 的"点击率"字段彻底压死。树模型基本不敏感：决策树、随机森林、XGBoost、LightGBM 做的是单特征阈值切分，把一列乘以 100 不改变任何切分点的相对顺序，所以理论上不需要缩放。

再看分布形态：

• Z-Score 标准化(x - mean) / std：输出均值 0、方差 1，不限定上下界。适合近似正态、或者有极端值但不想压缩它们的场景。
• Min-Max 归一化(x - min) / (max - min)：输出严格落在 [0, 1]，但最大值最小值完全由两个极端点决定，一个异常值就能把其他所有样本压成一团。
• Robust Scaling(x - median) / IQR：用中位数和四分位距代替均值和标准差，对异常值鲁棒，我在真实脏数据上用得最频繁。

from sklearn.preprocessing import StandardScaler, MinMaxScaler, RobustScaler # 常规选择顺序：先 Robust，再考虑 Standard，最后才 MinMax scalers = { "standard": StandardScaler(), "minmax": MinMaxScaler(), "robust": RobustScaler(), }

一个实用的判断方法：做完缩放后，画出缩放前后的分布直方图叠加对比。如果 Min-Max 之后 95% 的样本都挤在 [0, 0.02] 这个区间里，说明你被一两个极端值绑架了，换 Robust 或者先做缩尾。

3.2 类别编码：独热、序数、目标编码各有适用边界

类别特征的处理是另一个高频出错点。三种主流方式的边界很清楚：

独热编码（One-Hot）适合基数低的类别，比如性别、设备类型、星期几。基数高的时候会直接炸维度——一个有 5000 个 SKU 的商品 ID 做独热，就是 5000 列稀疏特征，大部分树模型在这种稀疏矩阵上效率极低。经验阈值是基数的 15 到 20，超过就考虑别的方案。

序数编码（Ordinal）适用于类别之间存在真实顺序的情况，比如"低/中/高"、"教育程度"。对无序类别强行用序数编码会引入虚假的大小关系，线性模型会据此算出错误权重。但要注意，树模型其实不太受这个影响，因为树可以针对单个取值做切分；不过如果类别本身无序，序数编码会让树需要多次切分才能把某个类别隔离出来，效率变低。

目标编码（Target Encoding）适合高基数类别。用该类别对应的标签均值来替换类别值，维度不增加，还能捕捉类别与标签的关系。但它有个致命问题：极易造成标签泄漏。如果直接用全量数据算均值，训练集里每个样本的编码值里都包含了它自己的标签，模型会学到一个虚高的相关性。正确做法是折内编码——在 K 折交叉验证的每一折里，用除当前折之外的样本计算类别均值。

from sklearn.preprocessing import OneHotEncoder from category_encoders import TargetEncoder from sklearn.model_selection import KFold # 独热：适合低基数 ohe = OneHotEncoder(handle_unknown="ignore", sparse_output=False) # 目标编码：必须配合折内计算，不要让编码器看到 y 的全貌 te = TargetEncoder(cols=["merchant_id"], smoothing=20)

smoothing参数也值得说一句。类别样本量很少的时候，均值会非常不稳定，一个只有 2 条记录的类别，均值可能就是极端值。平滑的作用是把类别均值往全局均值拉，样本越少拉得越狠，这是防止高基数目标编码过拟合的关键手段。

3.3 分布变换：把长尾拉回来

很多真实特征天然是长尾的：用户消费金额、页面停留时长、评论数、文件大小。这类特征直接喂给线性模型或神经网络，会让少数极大值样本主导损失。对数变换是最省事的办法：

import numpy as np # 有零值用 log1p，避免 log(0) df["amount_log"] = np.log1p(df["amount"]) # 想更贴近正态，可以用 Box-Cox（要求正数）或 Yeo-Johnson（允许零和负数） from sklearn.preprocessing import PowerTransformer pt = PowerTransformer(method="yeo-johnson") df[["amount_pt"]] = pt.fit_transform(df[["amount"]])

Box-Cox 和 Yeo-Johnson 会自动搜索一个最优的幂次参数 λ，比手工试 log、sqrt 更系统。实测下来，对偏度大于 1 的连续特征做一次幂变换，线性模型的表现通常有 1 到 3 个百分点的提升。但树模型对这步几乎无感，因为单调变换不改变排序，树的分裂点不受影响——所以别在树模型上浪费时间做分布变换。

4. 数据降维：什么时候该压，什么时候别碰

4.1 PCA 到底在做什么，以及它不做什么

PCA 的数学本质是找一组新的正交坐标轴，让数据投影到这些轴上的方差依次最大。第一个主成分是方差最大的方向，第二个是与第一个正交的次大方差方向，依此类推。它做的事情是用少数几个方向的线性组合来近似原始数据，所以前提是原始特征之间存在线性相关性。

这就引出了 PCA 的一个常见误用：对本来就不相关的特征做 PCA。如果 20 个特征两两相关性都很低，PCA 压到 5 维会丢掉大量独立信息，效果必然下降。判断依据很简单，先看相关矩阵：

import seaborn as sns import matplotlib.pyplot as plt from sklearn.decomposition import PCA from sklearn.preprocessing import StandardScaler corr = df[num_cols].corr() # 看是否存在成块的高相关区域 # 有高相关再做 PCA，且必须先标准化 X_scaled = StandardScaler().fit_transform(df[num_cols]) pca = PCA(n_components=0.95) # 保留 95% 方差 X_pca = pca.fit_transform(X_scaled) print(pca.explained_variance_ratio_)

另一个关键前提：PCA 之前必须标准化。因为 PCA 是按方差最大化工作的，一个量纲是"万元"、一个是"百分比"的特征，方差天然差几个数量级，PCA 会认为万元那个特征"信息量更大"，这完全是被量纲误导的。

4.2 特征选择比 PCA 更值得优先考虑

如果目的是"减少特征数量"而不是"压缩成新特征"，那特征选择通常比 PCA 更好，原因有两个：一是保留原始特征的物理含义，模型结果可以解释、可以交付给业务方；二是避免了 PCA 那种全局线性组合带来的信息混淆。

三类方法的差异：

实际项目里我的顺序是：先过滤掉方差接近 0 的和互信息极低的，把特征数砍到几十个量级；然后用树模型跑一遍，看feature_importances_；最后如果要精挑细选，再上 RFE。嵌入式的 L1 正则（Lasso）也很实用，它会把不重要特征的系数直接压到 0，天然带选择功能。

提示：feature_importances_在存在高相关特征时会把重要性"摊薄"，几个相关特征各分到一部分，看起来都不重要。这时应该看排列重要性（permutation_importance），它通过打乱单列观察性能下降来评估，更可靠。

4.3 降维的收益场景和禁区

降维真正的收益场景是：特征数远大于样本数（比如基因数据几万特征、几百样本）、或者存在严重多重共线性导致模型不稳定、或者线上推理有严格的延迟和内存约束（这也呼应了那些追求极小体积模型的需求，参数量越小越省资源）。

禁区也很明确：树模型 + 中等特征量 + 充足样本这三种条件同时满足时，降维几乎总是负收益。树模型自带特征选择能力，它会自动忽略无用的列；而 PCA 生成的组合特征破坏了单特征的可解释切分逻辑，往往让树模型表现变差。我自己在表格类竞赛里基本不做 PCA，只做特征选择。

5. 不同数据形态，预处理的重点完全不同

5.1 表格数据：把清洗和编码做扎实就够了

表格数据是预处理里最"标准"的一类，流程也最成熟：缺失处理 → 异常处理 → 类别编码 → 数值缩放（视模型） → 特征交叉。核心经验是别过度设计，表格数据的信号往往集中在少数几个关键特征上，把这几列的清洗做干净，比堆一百个交叉特征有用。

5.2 图像数据：归一化是底线，增强要匹配任务

图像预处理的必修课是统一尺寸和归一化。深度学习框架里的预训练模型通常期望特定输入范围，比如 ImageNet 预训练模型要求按均值和标准差做标准化：

from torchvision import transforms train_tf = transforms.Compose([ transforms.Resize((224, 224)), transforms.RandomHorizontalFlip(), transforms.RandomResizedCrop(224, scale=(0.8, 1.0)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]), ])

这里的均值和标准差是 ImageNet 统计出来的，用预训练权重就跟着用它，自己从零训练才需要算自己数据集的统计量。数据增强的坑在于增强方式必须和任务语义一致：通用分类任务做水平翻转没问题，但识别数字、识别方向敏感的目标、或者医学影像里左右有明确解剖意义的情况，翻转会制造错误标签。同理，颜色抖动对判断"颜色是否为判别依据"的任务就是有害的。

5.3 文本数据：清洗词表和长度对齐

文本预处理的关键决策在分词和截断长度上。分词器要和预训练模型匹配，比如 BERT 系列用 WordPiece，很多中文场景用字级别或者专门的切分工具。截断长度是成本和效果的权衡——定得太短，长文本的关键信息被砍掉；定得太长，显存和计算量飙升，而且大部分位置是填充 token，浪费算力。我的做法是先统计训练集文本长度的分位数，取 95% 分位作为截断阈值，这样只牺牲 5% 的尾部样本。

另外，文本清洗要不要去停用词、要不要去标点，取决于任务。情感分类里"不"这类否定词绝对不能删，但做主题聚类时删掉噪点符号能提升效果。

5.4 时序数据：窗口构造和防泄漏是全部

时序数据最容易出错的地方是划分离。绝对不能随机划分训练集和测试集，必须按时间顺序切，否则就是用未来的数据预测过去。窗口构造的逻辑是：用过去 N 个时间步预测下一个值或下一个标签。

def make_windows(series, window=24, horizon=1): X, y = [], [] for i in range(len(series) - window - horizon + 1): X.append(series[i:i + window]) y.append(series[i + window + horizon - 1]) return np.array(X), np.array(y)

时序特征的缩放也要小心：用全局均值和标准差去标准化整条序列，等于把未来的分布信息带进了训练集。正确做法是用训练段算出的统计量去变换验证段和测试段。

6. 用 Pipeline 串起来，避免数据泄漏

6.1 数据泄漏是怎么悄悄发生的

数据泄漏是预处理器里最常见、最隐蔽、后果最严重的错误。它的典型形态是：在划分训练测试集之前就做了标准化或者填充，导致测试集的统计信息（均值、中位数、最大最小值）"泄漏"进了训练过程。

后果是什么？离线评估分数虚高，你以为模型能到 0.9，上线只有 0.75。而且这个错误在单次实验里完全看不出来，因为没有任何报错，代码跑得飞快，分数还很漂亮。

正确顺序只有一个：先划分，再只对训练集 fit 所有预处理，然后 transform 验证集和测试集。

from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) # 错：先标准化再划分 # X_scaled = scaler.fit_transform(X); train_test_split(X_scaled, ...) # 对：先划分，scaler 只在 train 上 fit scaler = StandardScaler().fit(X_train) X_train_s = scaler.transform(X_train) X_test_s = scaler.transform(X_test)

交叉验证里也是同理。如果你在 CV 外面做了一次fit_transform，那每一折的验证集其实都被自己的统计量"污染"过。正确做法是把预处理放进 Pipeline，让 CV 在每一折内部独立完成 fit 和 transform。

6.2 ColumnTransformer + Pipeline 的写法

实际项目里，数值列和类别列需要不同的处理逻辑，ColumnTransformer就是干这个的：

from sklearn.compose import ColumnTransformer from sklearn.pipeline import Pipeline from sklearn.impute import SimpleImputer from sklearn.preprocessing import StandardScaler, OneHotEncoder from sklearn.ensemble import GradientBoostingClassifier num_pipe = Pipeline([ ("impute", SimpleImputer(strategy="median")), ("scale", StandardScaler()), ]) cat_pipe = Pipeline([ ("impute", SimpleImputer(strategy="constant", fill_value="Unknown")), ("encode", OneHotEncoder(handle_unknown="ignore")), ]) preprocessor = ColumnTransformer([ ("num", num_pipe, num_cols), ("cat", cat_pipe, cat_cols), ]) full_pipe = Pipeline([ ("prep", preprocessor), ("clf", GradientBoostingClassifier(n_estimators=300, learning_rate=0.05)), ]) full_pipe.fit(X_train, y_train) print(full_pipe.score(X_test, y_test))

这么写有三个实际好处：一是泄漏风险从结构上被消除；二是整个流程可以作为一个对象序列化保存，线上推理时直接调predict，不会出现"训练时的预处理忘了搬到线上"这种事故；三是超参数搜索时可以把预处理参数一起搜，比如prep__num__impute__strategy可以在网格里直接切换。

6.3 处理类别不平衡：别在训练集上乱采样

类别不平衡的采样操作（过采样、欠采样、SMOTE）必须是训练集内部的操作，而且如果配合交叉验证，采样要在每一折的训练部分内部做。SMOTE 的原理是在少数类样本之间做线性插值生成新样本，如果对全量数据做了 SMOTE，生成的合成样本可能落在验证集附近，造成评估虚高。

我自己的经验优先级是：先看能不能用class_weight="balanced"或者scale_pos_weight调整损失权重，这个方法不改变数据分布，风险最低；确实需要采样时再考虑 SMOTE，并且只在训练折内做。

7. 踩过的坑和一份随手可用的检查清单

7.1 三个我真实踩过的预处理坑

第一个坑：训练集和测试集用了不同的填充策略。早期做项目时，我在训练脚本里用中位数填充，在推理脚本里忘了加填充逻辑，模型直接报错输入维度不对，改了一版又用了均值填充。结果离线分数不变、线上诡异波动。后来强制自己把所有预处理都写进 Pipeline，这类问题再没出现过。教训是：预处理逻辑必须和数据、模型一起打包，不能靠"记得"。

第二个坑：对高基数类别做了目标编码，还在全量数据上算的均值。CV 分数 0.91，提交上去 0.74。排查了一整天才发现是目标编码的泄漏。修正方式就是前面说的折内计算加平滑，分数降到了 0.83，但上线后稳定在 0.82，这才是真实的水平。

第三个坑：图像任务里对整张数据集算了均值和方差。这在学术界的小数据集上几乎没人在意，但在严格评估里就是泄漏。正确的做法是用训练子集算统计量，或者干脆用预训练模型自带的 ImageNet 统计量。

7.2 一份贴在显示器前的检查表

我现在的习惯是每个新项目开始前把这张表过一遍，能省掉大量返工：

• 划分顺序：是不是先划分再用训练集 fit 所有转换器？有没有任何一步的统计量是从全量数据算出来的？
• 缺失处理：每一列的缺失比例是多少？缺失本身是不是一个信号？填充值是从训练集算的吗？
• 异常值：判断为异常的依据是什么？是错误还是真实信号？下游模型对异常值敏感吗？
• 缩放：下游模型是否对量纲敏感？选的是 Standard、MinMax 还是 Robust？依据是什么？
• 编码：类别基数多少？独热会不会炸维度？目标编码是不是折内做的？平滑参数怎么定的？
• 一致性：训练和推理的字段格式、单位、编码方式是否完全一致？有没有把预处理器单独保存？
• 可复现：random_state都设了吗？划分是否分层（特别是类别不平衡时）？整个流程能不能从原始数据一键重跑？

这些条目看起来琐碎，但每一条背后都对应着一类会实际影响结果的问题。预处理的本质不是"把数据洗干净"，而是确保模型看到的训练数据和线上真实数据服从同一个分布，且没有任何未来的、标签的信息混进来。抓住这一条，很多看起来玄学的效果波动就都能解释了。

最后说一个我自己的习惯：每次写完预处理代码，我会专门抽时间打印几个中间结果——填充后的缺失率是不是归零了、缩放后的均值和方差是不是符合预期、编码后的特征维度是多少、训练集和测试集在关键特征上的分布是不是接近。这几行 print 花不了两分钟，但帮我逮住过至少三五次严重的错误。预处理是个没有捷径的活，但如果把每一步的判断依据都想清楚，它反而是整个建模流程里最可控、回报最确定的部分。