简介：这份资源面向网络安全初学者与机器学习实践者，聚焦钓鱼网站与钓鱼邮件的自动识别问题，提供一套可运行的建模方案。压缩包共14个文件，以10个Python脚本和4个CSV数据集为主，整体约339KB，脚本覆盖数据预处理、词向量工具、TextCNN、LSTM_CNN、CNN_LSTM及简单神经网络等模型实现，CSV则用于承载训练与测试样本。内容围绕URL特征提取、邮件文本编码、TF-IDF与词嵌入、模型训练评估等环节展开，读者可据此复现从数据清洗到模型对比的完整流程，理解朴素贝叶斯、支持向量机与深度学习在文本分类任务中的差异，并掌握交叉验证、样本不平衡处理与超参数调优的实践思路。目前已有241人学习，适合希望将机器学习落地于安全检测场景的读者参考。
1. 钓鱼邮件识别模型：从一封“看起来很正常”的邮件说起
一封邮件，发件人显示是公司财务部，标题写着“关于本月报销流程调整的通知”，正文里只有一个链接，点进去是一个和公司OA登录页几乎一模一样的页面。这种场景，做企业安全的人每年都要碰上几十次。钓鱼邮件识别模型要解决的，就是在用户点击之前，把这封邮件拦下来。
这个方向适合两类人：一类是有一定Python基础、想入门安全领域机器学习的安全从业者；另一类是做后端或数据工作、被公司要求“搞一个反钓鱼模块”的工程师。它不需要你懂逆向，也不需要你搭复杂的沙箱环境，核心工作是把邮件文本、URL、发件人信息转成特征，然后训练一个分类器。难点不在模型本身，而在特征工程和样本质量。我见过太多人直接拿一个现成的数据集跑个随机森林，准确率95%，上线后误报率爆炸——因为真实邮件分布和公开数据集差得太远。
2. 钓鱼邮件的数据从哪来：样本采集与标注的四个现实约束
2.1 公开数据集能直接用吗
常见做法是先找公开语料。邮件安全领域有几个被反复引用的数据集，比如SpamAssassin公开语料、Enron邮件集里的垃圾邮件部分、以及一些学术论文附带的钓鱼邮件样本。但这些数据有几个问题：第一，时间太老，很多是2005年前后的邮件，那时候的钓鱼手法和现在完全不是一回事；第二，标注质量参差不齐，有些把“营销邮件”也标成了钓鱼；第三，正负样本比例严重失衡，钓鱼邮件可能只占5%不到。
我一般会这样处理：公开数据集只用来做冷启动，训练一个基线模型，然后拿公司内部邮件网关的日志做增量微调。内部数据哪怕只有几百封标注样本，也比几万封老数据管用。
import pandas as pd from sklearn.model_selection import train_test_split # 加载公开数据集，假设字段为 text, label df_public = pd.read_csv("public_phishing_corpus.csv") # 加载内部标注样本，字段对齐 df_internal = pd.read_csv("internal_labeled_emails.csv") # 合并时给内部数据更高权重，这里用简单复制实现 df_internal_weighted = pd.concat([df_internal] * 5, ignore_index=True) df_all = pd.concat([df_public, df_internal_weighted], ignore_index=True) # 按时间切分，避免未来数据泄露 df_all["date"] = pd.to_datetime(df_all["date"]) df_all = df_all.sort_values("date") split_idx = int(len(df_all) * 0.8) train_df = df_all.iloc[:split_idx] test_df = df_all.iloc[split_idx:] print(f"训练集 {len(train_df)} 条，测试集 {len(test_df)} 条") print(f"训练集钓鱼比例: {train_df['label'].mean():.2%}")这段代码的关键点是按时间切分而不是随机切分。钓鱼邮件的手法随时间演化，随机切分会让模型“偷看”未来样本，导致测试指标虚高。内部数据复制5倍是一种粗糙的加权方式，实际项目中可以用样本权重参数替代。
2.2 标注标准怎么定
标注是最大的坑。什么叫“钓鱼”？带恶意链接的算，带恶意附件的算，那“诱导用户回复敏感信息”的算不算？冒充CEO让财务转账的算不算？我建议在项目初期就定一个三分类标准：正常邮件、垃圾邮件、钓鱼邮件。垃圾邮件是营销类，钓鱼邮件是恶意类。两者混淆会导致模型学偏。
标注时至少两人独立标，不一致的拿出来讨论。如果团队只有你一个人，那就隔一周再标一遍，对比两次结果。听起来很土，但能筛掉大量模糊样本。
2.3 样本不平衡怎么处理
钓鱼邮件在真实流量里占比极低，可能千分之一都不到。直接用原始比例训练，模型会倾向于全部预测为正常。常见做法有三种：欠采样正常邮件、过采样钓鱼邮件、或者用类别权重。我一般用类别权重，因为不损失信息。
from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report # 假设已经提取好特征 X_train, X_test # 计算类别权重 scale_pos_weight = (train_df["label"] == 0).sum() / (train_df["label"] == 1).sum() clf = RandomForestClassifier( n_estimators=300, max_depth=20, class_weight={0: 1, 1: scale_pos_weight}, # 钓鱼类权重放大 random_state=42, n_jobs=-1 ) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) print(classification_report(y_test, y_pred, target_names=["正常", "钓鱼"]))scale_pos_weight这个参数直接决定了模型对钓鱼邮件的敏感度。设得太高，误报飙升；设得太低，漏报严重。实际调参时从5开始试，逐步加到20，看业务能接受多少误报。
2.4 邮件原始格式的解析
邮件是MIME格式，有头部、正文、附件。解析时要注意编码问题，很多钓鱼邮件故意用奇怪的字符集来绕过检测。Python的email库能处理大部分情况，但遇到畸形邮件会抛异常，必须加容错。
import email from email import policy def parse_email(raw_bytes): """解析原始邮件，返回头部、正文、链接列表""" try: msg = email.message_from_bytes(raw_bytes, policy=policy.default) except Exception as e: return None, None, [] subject = msg.get("Subject", "") from_addr = msg.get("From", "") reply_to = msg.get("Reply-To", "") body = "" links = [] if msg.is_multipart(): for part in msg.walk(): content_type = part.get_content_type() if content_type == "text/plain": try: body += part.get_content() except: pass elif content_type == "text/html": try: html = part.get_content() # 简单提取href，生产环境建议用BeautifulSoup import re links.extend(re.findall(r'href=["\'](https?://[^"\']+)', html)) except: pass else: try: body = msg.get_content() except: pass return {"subject": subject, "from": from_addr, "reply_to": reply_to}, body, links这个函数返回三个东西：头部字典、正文文本、链接列表。头部里的Reply-To和From不一致是强钓鱼信号，后面特征工程会用到。链接提取用正则只是示意，生产环境一定要用HTML解析器，因为钓鱼邮件经常用JavaScript拼接URL来绕过正则。
3. 特征工程：把一封邮件拆成模型能吃的数字
3.1 文本特征：TF-IDF和N-gram怎么选
邮件正文是主要信号来源。TF-IDF是最常用的基线，但钓鱼邮件有个特点：它们会模仿正常邮件的用词，所以单纯看词频不够。我一般会同时提取词级和字符级N-gram。词级抓语义，字符级抓拼写伪装，比如“Micros0ft”这种。
from sklearn.feature_extraction.text import TfidfVectorizer from scipy.sparse import hstack # 词级TF-IDF word_vec = TfidfVectorizer( max_features=5000, ngram_range=(1, 2), min_df=3, max_df=0.9, sublinear_tf=True ) X_word = word_vec.fit_transform(train_df["body"].fillna("")) # 字符级TF-IDF char_vec = TfidfVectorizer( analyzer="char_wb", ngram_range=(2, 4), max_features=3000, min_df=3 ) X_char = char_vec.fit_transform(train_df["body"].fillna("")) # 拼接 X_text = hstack([X_word, X_char]).tocsr()sublinear_tf=True对长邮件很重要，它用1+log(tf)替代原始词频，避免长文档主导。max_df=0.9过滤掉出现在90%以上文档里的词，这些词没有区分度。字符级N-gram的char_wb模式只在词边界内切分，比纯字符级更稳。
3.2 URL特征：钓鱼链接的七个信号
URL是钓鱼邮件最核心的载荷。我一般提取这些特征：URL长度、域名长度、是否用IP地址、是否含@符号、路径深度、是否用HTTPS、域名年龄（需要外部查询）、是否含敏感词（login、verify、account等）。
import re from urllib.parse import urlparse SENSITIVE_WORDS = ["login", "verify", "account", "secure", "update", "confirm", "banking"] def extract_url_features(url): """提取单条URL的特征""" features = {} try: parsed = urlparse(url) except: return None features["url_len"] = len(url) features["domain_len"] = len(parsed.netloc) features["path_len"] = len(parsed.path) features["num_dots"] = url.count(".") features["num_hyphens"] = url.count("-") features["num_digits"] = sum(c.isdigit() for c in url) features["has_at"] = 1 if "@" in url else 0 features["has_ip"] = 1 if re.match(r"\d+\.\d+\.\d+\.\d+", parsed.netloc) else 0 features["is_https"] = 1 if parsed.scheme == "https" else 0 features["path_depth"] = len([p for p in parsed.path.split("/") if p]) features["has_sensitive"] = 1 if any(w in url.lower() for w in SENSITIVE_WORDS) else 0 return featureshas_at这个特征很关键。正常URL里@是用户名分隔符，但钓鱼邮件经常用http://legit-site.com@evil.com这种形式，浏览器实际访问的是evil.com。has_ip直接访问IP地址的链接，在正常邮件里极少见。
3.3 头部特征：发件人信誉的量化
邮件头部有很多可用信号：发件人域名和Reply-To域名是否一致、是否通过SPF/DKIM验证、发件时间是否在非工作时间、收件人是否在收件人列表里。这些特征需要和邮件网关日志关联，单靠邮件本身拿不到全部。
def extract_header_features(headers, gateway_log=None): """提取头部特征，gateway_log为可选的网关验证结果""" features = {} from_domain = headers.get("from", "").split("@")[-1].strip(">") reply_domain = headers.get("reply_to", "").split("@")[-1].strip(">") features["from_reply_match"] = 1 if from_domain == reply_domain else 0 features["from_domain_len"] = len(from_domain) features["from_has_digit"] = 1 if any(c.isdigit() for c in from_domain) else 0 if gateway_log: features["spf_pass"] = 1 if gateway_log.get("spf") == "pass" else 0 features["dkim_pass"] = 1 if gateway_log.get("dkim") == "pass" else 0 else: features["spf_pass"] = -1 # 未知 features["dkim_pass"] = -1 return featuresfrom_reply_match为0时，钓鱼概率大幅上升。很多钓鱼邮件用盗来的账号发信，但把Reply-To设成自己的收集邮箱。from_has_digit抓的是“micros0ft.com”这类伪装域名。
3.4 特征拼接与标准化
文本特征稀疏，数值特征稠密，直接拼接后数值特征会被稀疏特征淹没。我一般对数值特征做标准化，然后和文本特征横向拼接。
from sklearn.preprocessing import StandardScaler import numpy as np # 假设 url_feats 和 header_feats 是DataFrame scaler = StandardScaler() X_num = scaler.fit_transform( np.hstack([url_feats.values, header_feats.values]) ) # 文本特征 + 数值特征 X_final = hstack([X_text, X_num]).tocsr()标准化用训练集的均值和方差，测试集必须用同样的scaler转换，否则数据泄露。这个细节很多人翻车。
4. 模型训练与评估：准确率95%为什么不能上线
4.1 基线模型选哪个
邮件钓鱼检测的基线，我推荐从LightGBM或XGBoost开始。它们在表格数据上表现稳定，训练快，特征重要性可解释。深度学习不是不能用，但需要大量标注数据，小团队玩不转。
import lightgbm as lgb from sklearn.metrics import roc_auc_score, precision_recall_curve # 构建Dataset dtrain = lgb.Dataset(X_train, label=y_train) dvalid = lgb.Dataset(X_test, label=y_test, reference=dtrain) params = { "objective": "binary", "metric": "auc", "boosting_type": "gbdt", "num_leaves": 63, "learning_rate": 0.05, "feature_fraction": 0.8, "bagging_fraction": 0.8, "bagging_freq": 5, "scale_pos_weight": scale_pos_weight, "verbose": -1, "seed": 42 } model = lgb.train( params, dtrain, num_boost_round=500, valid_sets=[dvalid], callbacks=[lgb.early_stopping(50), lgb.log_evaluation(100)] ) y_prob = model.predict(X_test, num_iteration=model.best_iteration) print(f"AUC: {roc_auc_score(y_test, y_prob):.4f}")early_stopping(50)表示验证集AUC 50轮不提升就停，防止过拟合。scale_pos_weight和随机森林里一样，控制正类权重。
4.2 评估指标：为什么只看AUC不够
AUC衡量的是排序能力，但业务关心的是“在误报率不超过1%的前提下，能抓多少钓鱼”。所以要看PR曲线和特定阈值下的召回率。
precision, recall, thresholds = precision_recall_curve(y_test, y_prob) # 找到误报率（1-precision）低于1%时的最大召回 target_precision = 0.99 valid_idx = precision >= target_precision if valid_idx.any(): best_recall = recall[valid_idx].max() best_threshold = thresholds[valid_idx][recall[valid_idx].argmax()] print(f"精度≥99%时，召回率: {best_recall:.2%}，阈值: {best_threshold:.4f}") else: print("无法达到99%精度")这个输出才是业务方看得懂的。比如“精度99%时召回85%”，意味着每100封正常邮件最多误拦1封，同时能抓住85%的钓鱼邮件。如果召回只有60%，那模型还得继续调。
4.3 阈值怎么定
阈值不是拍脑袋定的。我一般会画一条曲线：横轴是误报率，纵轴是召回率，然后让业务方选一个点。安全团队通常能接受1%到2%的误报，因为人工复核成本可控。如果误报率超过5%，用户会开始抱怨，模型就活不下去。
import matplotlib.pyplot as plt fpr = 1 - precision plt.plot(fpr, recall) plt.xlabel("误报率") plt.ylabel("召回率") plt.title("PR曲线") plt.grid(True) plt.savefig("pr_curve.png")这张图拿给业务方看，比任何数字都直观。
4.4 模型可解释性：SHAP值怎么看
安全团队需要知道模型为什么判一封邮件为钓鱼。SHAP值能给出每个特征的贡献。
import shap explainer = shap.TreeExplainer(model) shap_values = explainer.shap_values(X_test[:100]) # 对单条预测解释 sample_idx = 0 shap.force_plot( explainer.expected_value, shap_values[sample_idx], X_test[sample_idx], feature_names=feature_names )实际用的时候，我会把SHAP值转成文字：“这封邮件被判定为钓鱼，主要因为：URL包含IP地址（贡献+2.1）、发件人与回复地址不一致（贡献+1.8）、正文含‘verify your account’（贡献+1.5）。”这样安全运营人员能快速判断是否误报。
5. 避坑与排查：五个让模型翻车的真实场景
5.1 现象：测试集AUC 0.98，上线后误报率30%
原因：训练集和线上数据分布不一致。公开数据集里的正常邮件大多是英文技术讨论，线上正常邮件是中文业务往来。模型学到了“中文=钓鱼”这种荒谬规则。
解决：用线上正常邮件做负样本微调，至少500封。同时检查特征重要性，如果“是否含中文字符”排在前列，说明数据有问题。
5.2 现象：模型对带附件的邮件全部判为正常
原因：特征工程只提取了正文和URL，附件信息完全没进模型。钓鱼邮件经常把恶意链接放在PDF或Word附件里。
解决：至少提取附件类型、附件大小、附件文件名是否含敏感词。有条件的话对附件做静态分析，提取其中的URL。
5.3 现象：同一封邮件，两次预测结果不一样
原因：模型训练时用了随机种子，但推理时特征提取顺序不一致。比如URL特征字典的键顺序在两次运行中不同。
解决：特征提取函数返回的字典必须固定键顺序，或者用OrderedDict。更稳妥的做法是把特征名和顺序写死在配置里，推理时按配置拼接。
5.4 现象：钓鱼邮件把链接藏在图片里，模型完全失效
原因：纯文本模型看不到图片内容。这是钓鱼邮件的高级绕过手法。
解决：加OCR模块提取图片文字，把OCR结果拼到正文特征里。但OCR会增加延迟，建议只对“正文极短且含图片”的邮件触发。
5.5 现象：模型上线三个月后效果逐渐下降
原因：钓鱼手法在演化，模型没有增量更新。攻击者会试探模型边界，找到绕过方法后批量使用。
解决：建立反馈闭环。安全运营人员标记的误报和漏报，每周回流到训练集，重新训练模型。至少每月更新一次。
6. 进阶技巧：用主动学习把标注成本降下来
标注钓鱼邮件很贵，因为需要安全专家参与。主动学习能让你只标注“模型最不确定”的样本，用最少标注量达到最好效果。
核心思路是：模型对未标注样本预测概率，挑出概率在0.4到0.6之间的样本，让人工标注，然后加入训练集重新训练。循环几轮后，模型在边界区域的判别能力会显著提升。
def active_learning_loop(model, X_pool, y_pool, X_unlabeled, n_rounds=5, n_per_round=50): """主动学习循环""" for round_idx in range(n_rounds): # 预测未标注样本 probs = model.predict_proba(X_unlabeled)[:, 1] # 选最不确定的样本（概率接近0.5） uncertainty = np.abs(probs - 0.5) query_idx = np.argsort(uncertainty)[:n_per_round] # 模拟人工标注（实际项目中这里需要人工介入） queried_X = X_unlabeled[query_idx] queried_y = y_pool[query_idx] # 假设有真实标签 # 加入训练集 X_pool = np.vstack([X_pool, queried_X]) y_pool = np.concatenate([y_pool, queried_y]) # 从未标注池移除 X_unlabeled = np.delete(X_unlabeled, query_idx, axis=0) # 重新训练 model.fit(X_pool, y_pool) print(f"第{round_idx+1}轮，训练集大小: {len(y_pool)}") return model这个循环的关键参数是n_per_round，每轮标注多少样本。设得太少，收敛慢；设得太多，标注成本高。我一般从50开始，根据效果调整。uncertainty用绝对值距离，也可以用熵，效果差不多。
实际落地时，我会把主动学习和业务规则结合。比如模型不确定的样本，先过一遍规则引擎（比如“发件人域名不在白名单且含IP链接”直接判钓鱼），剩下的再给人标。这样能进一步降低标注量。
还有一个技巧是“多样性采样”。只选不确定样本可能导致标注集集中在某一类钓鱼手法上。我会在不确定样本里再做一次聚类，每个簇选几个，保证覆盖不同攻击类型。
最后说一个血泪教训：主动学习的效果高度依赖初始模型。如果初始模型太差，选出来的不确定样本全是噪声，标注完反而污染训练集。所以第一轮一定要用尽可能多的标注数据训练一个靠谱的基线，再启动主动学习。我一般要求基线模型在测试集上AUC至少0.9，才开始循环。
希望帮到你。
本文还有配套的精品资源，点击获取
