自动数据清洗实战：从诊断到清洗的一站式方案

做数据分析的人，最烦的不是跑模型，而是拿到手的数据一团乱麻。一个几百上千行的 CSV，光缺失值、重复行、日期格式不统一就能耗掉大半天时间，更别提那种“看着是数字，实际上是文本”的阴间列。我用过的办法不少，纯写 pandas 脚本撸一遍太机械，带业务判断的清洗又没法标准化。这个>name: data_cleaning_skill description: 自动诊断并清洗结构化表格数据，输出清洗前后的对比报告 input: 文件: 支持 csv、xlsx、tsv 格式 参数: 缺失率阈值: 0.2 异常值倍数: 1.5 是否保留原文备份: true output: 清洗后文件: 同输入格式 质量报告: markdown 格式，包含清洗前后质量对比

触发条件也很关键。你肯定不想在一个只有三行干净数据的小文件上也跑一遍完整链条，那样纯属浪费。我的触发规则是：数据行数少于 50 行或缺失率总量小于 1% 时，只输出诊断报告，不执行清洗；只有超过阈值才进入完整流程。这条规则帮我挡掉了很多无效计算。

4.2 核心工具函数实现

这里给出一段核心函数的简化实现，用 pandas 编写。实际使用的时候可以把这些函数组装成一个工具库，供上层调度调用。

import pandas as pd import numpy as np from unicodedata import normalize def profile_data(df: pd.DataFrame) -> dict: """生成数据体检报告的核心指标""" report = {} for col in df.columns: non_null = df[col].count() total = len(df) missing_rate = 1 - non_null / total unique_rate = df[col].nunique() / non_null report[col] = { "missing_rate": round(missing_rate, 4), "unique_rate": round(unique_rate, 4), "dtype": str(df[col].dtype), } return report def normalize_text(s: pd.Series) -> pd.Series: """统一文本格式：全角转半角、去首尾空格、大写转小写""" def _normalize(x): if pd.isna(x): return x x = normalize("NFKC", str(x)).strip().lower() return x return s.map(_normalize) def remove_duplicates(df: pd.DataFrame, subset=None) -> pd.DataFrame: """去重并记录影响行数""" before = len(df) df = df.drop_duplicates(subset=subset) after = len(df) print(f"去重影响行数：{before - after}") return df def detect_outliers_iqr(df: pd.DataFrame, cols=None, multiplier=1.5) -> pd.DataFrame: """IQR 异常值检测，返回带标记列的副本""" out = df.copy() cols = cols or df.select_dtypes(include=[np.number]).columns for col in cols: q1 = df[col].quantile(0.25) q3 = df[col].quantile(0.75) iqr = q3 - q1 lower = q1 - multiplier * iqr upper = q3 + multiplier * iqr out[f"{col}_outlier"] = (df[col] < lower) | (df[col] > upper) return out

这几个函数分别对应三个核心模块：诊断、文本标准化、异常值标记。真实技能包里的函数会比这些更细，但骨架思路就是如此：每一个函数只做一件事，并且必须能输出影响行数。这样上层模型才能把每一步的结果汇总成一份清晰的报告。

4.3 参数选择与调优心得

默认参数怎么定，我说说我的经验。缺失率阈值我一般设 0.2，低于 20% 的缺失直接用中位数填充，超过就考虑删除行或整列。这个值不是拍脑袋定的，而是参考了数据质量领域的常见分界线：缺失率超过 20% 的字段，代表这个数据项的采集流程本身有问题，填充的意义已经不大了。

异常值倍数是另一个需要根据业务调整的参数。1.5 倍是标准配置，我实际用下来发现，对客单价、收入这类偏态分布很强的指标，1.5 倍会把大量高价值用户标成异常，误杀明显。这时候我会把倍数放宽到 3，并且把标记出来的异常值单独生成一个文件，而不是直接删除。

在真实项目里我都是这样操作的：第一次跑全部用默认参数，重点看诊断报告；看完报告后，对业务的核心指标列单独调整参数；最后把人工确认过的列配置固化到 skill 的配置文件里。这样一来，同一个 skill 在不同数据集上跑出来的行为是稳定的，不用每次重新口头叮嘱模型“这个列别删”。

4.4 让输出可解释、可追溯

自动清洗最怕的不是出错，而是错了你不知道。所以在技能设计里，“可解释”不是加分项，是硬性要求。我固定输出三样东西：

• 清洗后的数据文件。
• 一份 Markdown 格式的清洗报告，里面包含每一步操作的影响行数、前后样例对比。
• 一份原始数据备份，保留所有清洗前的记录。

这里说说清洗报告的格式。每一列我都会注明“原缺失率 → 新缺失率”的变化，每个删除操作都会列出删除行的部分特征值。比如“删除了 12 行重复记录，删除样本中有 10 行手机号相同，2 行邮箱相同”。这种细节能让你快速判断当时删除逻辑是不是合理。

我自己踩过一次坑：某次清洗自动把 200 行“下单时间为空”的记录删了，当时看报告觉得没问题，后来线上订单对账怎么都对不上。最后发现那批记录是线下订单，时间填在另一个字段里。从那以后，我的技能里永远保留了原文备份，并且所有删行操作必须带原因标签，这个习惯救了我很多次。

5. 常见问题与排查技巧实录

5.1 清洗结果把业务数据改坏了怎么办

改坏数据是早晚会发生的事，关键是怎么及时发现。我的排查套路是先看“清洗前后对照表”里的差异行，重点盯两类列：唯一标识列（比如 ID）和时间列。这两类列一旦发生变化，一定是清洗逻辑出了问题，直接回滚到备份数据重来。

一个比较隐蔽的坑是类型转换导致的数据精度丢失。比如把 float 的订单金额转成 int，表面看只是去掉了小数点，实际上可能把 999999.99 变成了 999999，一条差 0.99 元。几百条下来，对账就差了 300 多块。这种问题靠肉眼很难发现，所以我后来加了一条硬性规则：凡是数值列，清洗前后必须对比 sum 和 count，数值对不上就自动终止流程。

5.2 模型判断和规则打架时怎么处理

模型说“这列该删”，规则说“这列缺失率还行”，听谁的？我的原则是：确定性规则优先，模型建议只作为补充。模型判断的优势在于理解语义，劣势在于不一定理解数据的采集背景。当两者冲突时，规则负责“能不能删”，模型负责“该不该删”。规则判断结果为“不能删”的时候，模型给出建议也只能进入人工确认队列，不能直接执行。

举个实际例子：某个字段缺失率 70%，规则层判定建议整列丢弃，但模型识别出这是“首次访问来源渠道”，是业务方核心指标，两者冲突。最终处理是保留列并改为填充“未知”，同时标记人工复核。这种妥协方案比直接听任一方都稳妥。

5.3 大文件跑不动、超时怎么办

数据清洗遇到大文件是常态。几十万行、上百列的数据，跑一次诊断报告就要半天，那肯定不行。我的处理办法是分三步：先抽样诊断、再全量执行、最后对比验证。

抽样诊断是从全量数据里随机抽 1 万行跑一遍体检报告，确定清洗策略；全量执行时只跑已经定好的规则逻辑，不重复计算诊断指标；最后用清洗前后的整体统计量做对比（比如行数差、缺失率变化、数值列的求和差异），确保抽样得到的策略在全量数据上没跑偏。这套流程把原本几十亿次的计算量降了几个数量级，实际效果非常明显。

5.4 常见脏数据速查表

最后整理一个速查表，基本覆盖了我在真实场景里遇到的大部分脏数据形态：

这张表我贴在工作台旁边。处理数据的时候先对号入座，再决定用哪个工具函数，思路会清晰很多。

6. 把>