第6章 无监督学习：没有标准答案怎么办

第6章 无监督学习：没有标准答案怎么办

一句话点题：监督学习是"做题对答案"，无监督学习是"发一堆混在一起的扑克牌，没人告诉你怎么分，你自己整理"。没有标准答案，但机器照样能找出规律来。

写在前面

上一章我们学的监督学习有个前提：数据得有标签（标准答案）。

但现实中，大量数据是没有标签的。你有一堆用户行为日志，没人给每条记录标上"这是高价值用户"或"这是流失用户"；你有几万条商品评论，没人标过"正面"或"负面"；你有一堆传感器数据，没人告诉你哪条是"正常"哪条是"异常"。

标注数据费时费力——请人标1万条数据，可能要花几万块、花几周时间。

没有标签，机器还能学吗？能。这就是无监督学习干的事。

一、无监督学习到底在干什么

1. 跟监督学习的区别

2. 三大任务

无监督学习主要干三件事：

下面逐个讲。

二、聚类：让机器自动分组

1. 什么是聚类

聚类的目标很简单：把相似的东西放一起，不相似的分开。

你不需要告诉机器"分几类"或"怎么分"，机器自己根据数据的特征来找天然的分群。

生活类比：你去一个陌生超市买水果，没人告诉你哪个是苹果哪个是梨。但你看一眼就能分出来——红的一堆、黄的一堆、长得不一样嘛。聚类就是让机器干这个事。

2. K-Means——最经典的聚类算法

K-Means（K均值）是最常用的聚类算法，原理非常直白：

1. 你告诉机器"分K组"（K是你定的数字）
2. 机器随机放K个"中心点"
3. 每条数据找离自己最近的中心点，归到那一组
4. 每组重新算中心点（组内所有点的平均位置）
5. 重复步骤3和4，直到分组不再变化

用图来理解：

第1轮：随机放中心点 第2轮：重新分组 第3轮：稳定了 · · ☆① · · | ① · · | ① · ·· ··· · ··|·· · ·· | ·· ··· ···· → ···|···· → ··· | ···· ····· ☆② ·····|② ····· | ② · ·· · ··| · ·· | ☆③ ①②③ = 三个中心点 竖线 = 分界线 分组完成

大白话：你说"分3组"，机器就把数据分成3堆，让每堆里的数据尽量相似，堆跟堆之间尽量不同。

3. K-Means的优缺点

4. DBSCAN——不需要你定分几组的聚类

K-Means的痛点是你得提前告诉它"分几组"，但你往往不知道该分几组。DBSCAN解决了这个问题。

DBSCAN的原理：密度大的地方就是一群，密度小的地方就是边界。它自动根据数据的密集程度来分群，不需要你指定组数。

生活类比：K-Means是你跟机器说"把这100个人分3组"；DBSCAN是机器自己看"这30个人挤在一起算一组，那边50个人挤一起算一组，剩下20个散在各地的算异常"。

5. 聚类实战：用户分群

一个常见的业务场景：你有1万个用户的消费数据，想把用户自动分群，做精细化运营。

importpandasaspdimportnumpyasnpfromsklearn.clusterimportKMeansfromsklearn.preprocessingimportStandardScalerimportmatplotlib.pyplotasplt# ========== 第1步：准备数据 ==========# 模拟用户消费数据np.random.seed(42)data={'月消费金额':np.concatenate([np.random.normal(500,100,300),# 低消费群体np.random.normal(3000,500,500),# 中等消费群体np.random.normal(8000,1000,200),# 高消费群体]),'月访问次数':np.concatenate([np.random.normal(5,2,300),# 低频用户np.random.normal(20,5,500),# 中频用户np.random.normal(40,8,200),# 高频用户])}df=pd.DataFrame(data)# ========== 第2步：数据标准化 ==========# 不同特征的量纲不同（消费金额几千、访问次数几十），必须标准化scaler=StandardScaler()X_scaled=scaler.fit_transform(df)# ========== 第3步：选K（用手肘法） ==========inertias=[]K_range=range(1,10)forkinK_range:kmeans=KMeans(n_clusters=k,random_state=42,n_init=10)kmeans.fit(X_scaled)inertias.append(kmeans.inertia_)# 手肘法：画图找"拐点"，拐点对应的K就是最佳分组数plt.figure(figsize=(8,4))plt.plot(K_range,inertias,'bo-')plt.xlabel('K (分组数)')plt.ylabel('Inertia (组内方差)')plt.title('手肘法选K')plt.axvline(x=3,color='r',linestyle='--',label='最佳K=3')plt.legend()plt.tight_layout()plt.savefig('elbow.png',dpi=100)# ========== 第4步：训练模型 ==========kmeans=KMeans(n_clusters=3,random_state=42,n_init=10)df['群体']=kmeans.fit_predict(X_scaled)# ========== 第5步：分析结果 ==========print("各群体特征：")print(df.groupby('群体').agg({'月消费金额':['mean','count'],'月访问次数':'mean'}).round(0))# 输出结果示例：# 群体 月消费金额(mean) 月访问次数(mean) 人数# 0 502 5 300 ← 低频低消费# 1 3001 20 500 ← 中频中消费# 2 7998 40 200 ← 高频高消费

6. 手肘法——怎么确定分几组

K-Means最头疼的问题是"K设多少合适"。手肘法是最常用的解决方案：

原理：试不同的K值（1到10），算每个K对应的"组内方差"（每个点到自己中心点的距离之和）。K越大，方差越小（分组越细当然越紧凑）。但方差下降到某个点会突然变缓——这个拐点就像胳膊的"手肘"，就是最佳K值。

Inertia | | · | · | · | · ← 拐点（手肘），K=3最佳 | · · · · · | └────────────────── K 1 2 3 4 5 6 7

大白话：分1组太粗、分10组太细，找个"刚好"的拐点。

三、降维：把高维数据压缩

1. 为什么需要降维

假设你有一个用户画像，有200个特征（年龄、性别、收入、消费频次、浏览时长、地域……）。这200个特征里：

• 有些是冗余的（"月收入"和"年收入"其实是一回事）
• 有些是噪声（"用户ID"对分析没有意义）
• 有些维度太高没法可视化（你能画2维3维的图，但画不了200维的）

降维就是把200个特征压缩成10个或2个，同时尽量不丢失关键信息。

2. PCA——最常用的降维方法

PCA（主成分分析）的原理用大白话说：找出数据中"信息量最大"的几个方向，把数据投影到这些方向上，用更少的维度表示原始数据。

生活类比：你拍一个3D的物体照片，从不同角度拍信息量不同——正面拍能看出形状，俯拍可能只能看到一个圆。PCA就是帮你找到"最能体现这个物体特征"的拍摄角度。

关键取舍：降维必然丢信息，问题是你愿意丢多少。通常降到能保留85%-95%信息量的维度就够了。

3. 降维的典型应用

4. 降维实战：可视化高维数据

fromsklearn.decompositionimportPCAfromsklearn.datasetsimportload_irisimportmatplotlib.pyplotasplt# 加载鸢尾花数据集（4个特征：花萼长宽、花瓣长宽）iris=load_iris()X=iris.data# 4维y=iris.target# 3种花# PCA降到2维pca=PCA(n_components=2)X_2d=pca.fit_transform(X)print(f"原始维度:{X.shape[1]}维")print(f"降维后:{X_2d.shape[1]}维")print(f"保留信息量:{pca.explained_variance_ratio_.sum():.1%}")# 画图plt.figure(figsize=(8,5))colors=['red','green','blue']fori,colorinenumerate(colors):plt.scatter(X_2d[y==i,0],X_2d[y==i,1],c=color,label=iris.target_names[i])plt.xlabel('主成分1')plt.ylabel('主成分2')plt.title('PCA降维可视化')plt.legend()plt.tight_layout()plt.savefig('pca.png',dpi=100)

4维数据降到2维，保留了97.8%的信息量，还能画图看到三种花明显分成三堆——这就是降维的价值。

四、异常检测：找出"不对劲"的数据

1. 什么是异常检测

异常检测的目标：从大量数据中找出"跟大多数不一样"的少数数据。

这些"不一样"的数据往往是重要的：

• 信用卡交易里的欺诈交易
• 服务器日志里的异常请求
• 工厂传感器数据里的设备故障前兆
• 网络流量里的攻击行为

2. 为什么不用监督学习

你可能会想：用监督学习训练一个"正常vs异常"的分类器不就行了？

问题在于：

所以异常检测通常用无监督方法：只学"正常长什么样"，跟正常不一样的就是异常。

3. 常用方法

4. 异常检测实战

fromsklearn.ensembleimportIsolationForestimportnumpyasnp# 模拟正常交易数据（金额0-1000，频率1-10次/天）np.random.seed(42)normal_data=np.column_stack([np.random.normal(200,100,1000),# 交易金额np.random.normal(5,2,1000),# 日交易次数])# 模拟异常交易anomalies=np.array([[5000,50],# 大额高频[8000,1],# 超大额[50,30],# 小额超高频[3000,25],# 大额高频])# 训练Isolation Forestmodel=IsolationForest(contamination=0.05,random_state=42)model.fit(normal_data)# 预测异常predictions=model.predict(anomalies)fori,predinenumerate(predictions):status="异常 ⚠️"ifpred==-1else"正常 ✅"print(f"交易(金额={anomalies[i][0]:.0f}, 次数={anomalies[i][1]:.0f}) →{status}")# 预测正常数据（应该都判为正常）normal_pred=model.predict(normal_data[:10])print(f"\n正常数据检测:{sum(normal_pred==1)}/10 判为正常")

5. 异常检测的实践要点

五、监督学习 vs 无监督学习：什么时候用哪个

实践中的组合使用

很多时候不是二选一，而是先无监督、后监督：

第一步：无监督聚类，把用户分成5群 ↓ 第二步：人工看看每群的特征，给每群起名字（高价值/低价值/潜力/流失风险/新用户） ↓ 第三步：用这些带标签的数据训练监督学习模型 ↓ 第四步：新用户来了，模型自动判断属于哪一群

这就是"半监督学习"的思路——用无监督方法生成标签，再用监督方法做预测。两全其美。

六、一个常见的认知误区

误区：“无监督学习不需要标签，所以更简单”

事实恰恰相反。无监督学习往往比监督学习更难用好，原因：

1. 没有标准答案，效果难评估。你把用户分成了5群，但"分得对不对"没有客观标准，只能靠业务人员判断"这个分群有没有用"
2. 参数更难调。K-Means的K设多少、DBSCAN的密度阈值设多少，都需要反复试
3. 结果不稳定。同样的数据，不同参数可能得到完全不同的结果
4. 需要更多业务理解。机器分完群后，你得解释"这群人有什么特征"，这需要对业务的理解

所以无监督学习不是"偷懒"的方案，而是"探索"的方案。它适合用来发现你不知道的规律，而不是替代监督学习做预测。

七、本章涉及算法速查表

本章小结

下一章预告：第7章「特征工程：数据质量决定AI上限」—— "垃圾进垃圾出"是机器学习的铁律。同样的算法，好的特征工程能让效果提升30%以上。这章教你怎么从原始数据中"榨"出最有价值的特征。