Python机器学习网络入侵检测实战：数据集处理、模型训练与避坑指南

简介：基于Python机器学习的网络入侵检测系统完整项目包，特别适合计算机相关专业的学生用于课程设计、期末大作业或项目实战练习，能够快速搭建一套可运行的入侵检测实验环境。项目选用KDD Cup数据集，通过卷积神经网络模型对网络流量进行分类检测，源码中包含了数据处理、模型构建、训练与评估等完整模块，并附带原始数据压缩包和说明文档，目录结构清晰，便于按步骤研读与二次开发。整套资源共16个文件，主要类型包括py源码文件、gz数据压缩包、xml配置文件、iml工程文件以及md文档等，压缩包大小为17.52MB，代码经严格调试，下载解压即可直接运行，使用门槛低。从数据处理到检测评估，整个流程环环相扣，学习者可结合源码和示例数据动手实践，快速理解基于机器学习的入侵检测实现思路。目前已有280人学习/下载，适合作为课程设计答辩、毕业设计参考或入门机器学习安全方向的实战项目。

1. 用Python机器学习做网络入侵检测：拿到源码和全部数据后先做什么

把「基于python机器学习的网络入侵检测系统源码+全部数据.zip」解压开，一般会看到两类东西：带标签的流量特征数据集，以及从数据处理到模型评估的完整脚本。这和只丢给你一个算法demo不一样，它覆盖了机器学习检测流程里最耗时间的两个环节——数据准备和指标验证。很多刚接触网络入侵检测的人卡在第一步：知道要分类，但不知道流量特征长什么样、标签怎么定义、切分数据时哪些坑会直接毁了结果。这套源码的作用，是把黑匣子拆开，让你在真实的数据上跑通特征工程、模型训练和评估闭环。适合做毕业设计、课程设计的在校生，也适合想在本地先验证机器学习检测效果的安全工程师。

2. 数据集选型与前处理管线：从NSL-KDD到干净的特征矩阵

2.1 三个公开数据集怎么选：NSL-KDD、UNSW-NB15与CICIDS2017

网络入侵检测方向做机器学习，首选不会是自采流量，而是公开的带标签数据集。原因很直接：你需要一份能分清「正常」和「攻击」的流量特征，自采数据往往要手动标注到崩溃。目前课题里最常见的是下面三个，特性差别很大。

我的建议是：第一次跑项目直接用NSL-KDD。它轻、标签规整、二分类和多分类都有现成定义，论文里可解释性也好。你拿到的这套源码里，大概率也是以它为主数据。CICIDS2017更接近真实网络，但它单日CSV动辄几十列，其中还有大量Infinity值和缺失值，清洗成本对新手不小。

这里还要说清楚一个边界：NSL-KDD虽然比KDDCUP99干净，去掉了大量重复记录，但它本质还是上世纪末模拟网络环境下的产物。做课设毕设没问题，直接说它能代表当下的真实企业网是站不住的。后面避坑章我会专门讲这一点。

2.2 标签和特征列处理：把字符串类别编码成模型能吃的数值

NSL-KDD每行是一条TCP连接会话的统计特征，41列数值和类别混合，最后一列是标签，取值像normal、neptune、satan这种原始攻击名。第一步不是直接喂给模型，而是把攻击名归类成研究里通用的大类：normal、dos、probe、r2l、u2r。原因有三个：原始攻击名有几十种，直接做多分类类别太碎且部分类别样本极少；大多数论文对比用的就是这几个大类；后面评估时看大类召回率更有意义。

import pandas as pd # 常用的 NSL-KDD 特征列定义，顺序必须和原始文件保持一致 cols = [ "duration", "protocol_type", "service", "flag", "src_bytes", "dst_bytes", "land", "wrong_fragment", "urgent", "hot", "num_failed_logins", "logged_in", "num_compromised", "root_shell", "su_attempted", "num_root", "num_file_creations", "num_shells", "num_access_files", "num_outbound_cmds", "is_host_login", "is_guest_login", "count", "srv_count", "serror_rate", "srv_serror_rate", "rerror_rate", "srv_rerror_rate", "same_srv_rate", "diff_srv_rate", "srv_diff_host_rate", "dst_host_count", "dst_host_srv_count", "dst_host_same_srv_rate", "dst_host_diff_srv_rate", "dst_host_same_src_port_rate", "dst_host_srv_diff_host_rate", "dst_host_serror_rate", "dst_host_srv_serror_rate", "dst_host_rerror_rate", "dst_host_srv_rerror_rate", "label", "difficulty" ] df = pd.read_csv("KDDTrain+.txt", header=None, names=cols) df.drop(columns=["difficulty"], inplace=True) def map_label(label: str) -> str: label = label.strip().lower() if label == "normal": return "normal" if label in {"neptune", "smurf", "pod", "teardrop", "back", "land", "apache2", "udpstorm", "processtable", "mailbomb"}: return "dos" if label in {"satan", "ipsweep", "nmap", "portsweep", "mscan", "saint"}: return "probe" if label in {"warezclient", "warezmaster", "guess_passwd", "imap", "multihop", "phf", "spy", "snmpguess", "snmpgetattack", "xsnoop", "xlock", "sendmail", "named", "httptunnel"}: return "r2l" return "u2r" df["attack_type"] = df["label"].map(map_label)

这段逻辑里有两个细节要注意。map_label里的攻击名集合是我按常见论文分类写的，不是唯一标准，不同论文对warezclient这类边缘攻击有争议，你自己复现时可以按正文定义的映射来。第二个细节是drop(columns=["difficulty"])，difficulty是NSL-KDD标注样本难度的列，它不是网络特征，训练时留着只会让模型偷懒。

接下来处理特征列。protocol_type、service、flag是字符串类别特征，常见做法是OneHot编码。service有70个左右取值，OneHot后特征维度会从41膨胀到120上下，这是正常的。有些树模型实现直接用LabelEncoder也能跑，但对SVM、神经网络这类依赖距离的算法，LabelEncoder会硬生生造出「1到70」的人为大小关系，所以统一用OneHot最稳。

X = df.drop(columns=["label", "attack_type"]) y = df["attack_type"] # 对字符类别特征做OneHot，label不参与 X = pd.get_dummies(X, columns=["protocol_type", "service", "flag"]) print(X.shape)

2.3 标准化与切分：先切分再fit，避免数据泄漏

前处理最后一个关键步骤是切分和标准化。很多新手代码会写成「先对整个X做StandardScaler，再train_test_split」，这在网络入侵检测场景里是典型的数据泄漏：scaler在fit阶段已经偷看了测试集的均值和方差，验证指标会虚高一截。正确顺序是先切分，再对训练集fit，再用同一个scaler去transform测试集。

from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) # 先fit训练集，再transform训练集和测试集 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test)

random_state=42是固定随机种子，这行不是可有可无。入侵检测实验的可复现性全看这个参数：不固定，你每次跑出来的准确率都不一样，后面写论文和排查问题都没法对齐。stratify=y是另一层保险，它会按标签比例分层抽样，保证切分后训练集和测试集里normal和各类攻击的占比和原数据集一致，避免运气不好把某个攻击类全切到训练集里。这一点在R2L这种只有几百条样本的类别上尤其重要。

如果后面模型用的是决策树、随机森林这类树模型，标准化其实可以不做的，树模型对特征尺度不敏感。但你要是坚持像我上面这样先标准化，也不影响树模型效果，还能在同一个pipeline里兼容SVM和逻辑回归，方便后面做算法对比。我一般都会把Scaler保留在管线里，因为做毕设经常要对比“机器学习算法在同样数据上谁更稳”，到时候再回头补标准化就又要重跑一遍。

表格里那几个数据集的CSV格式有别，CICIDS2017读进来会有大量Infinity缺失值，要提前df.replace([np.inf, -np.inf], np.nan)再填充；UNSW-NB15的特征列命名方式和NSL-KDD完全不同，跑源码之前先df.head()确认列名，不要直接套。

3. 模型训练与评估：随机森林、XGBoost与这三个指标

3.1 两个适合当基线的机器学习算法：随机森林与XGBoost

网络入侵检测场景里，随机森林和XGBoost是当前性价比最高的两个基线算法。原因很现实：公开数据集的样本量在十几万到几十万这个量级，深度学习模型在这个规模上优势不明显，反而在超参调优和训练时间上拖后腿；而决策树系列的模型能直接输出特征重要性，帮助解释哪些流量特征在判别攻击时起了作用，这在安全运营里是刚需。

我在实际选型时有一个简单判断标准：先用随机森林跑一遍全流程拿到一个不丢人的基线，如果时间充裕再上XGBoost提点。直接一上来就调XGBoost，很容易陷入max_depth、min_child_weight、subsample三个参数的漩涡里，最后可能比随机森林只高不到1个百分点，但花掉一整天。

另外一个现实问题是类别不平衡。NSL-KDD里dos类样本量巨大，r2l和u2r却少得可怜。随机森林可以在初始化时直接设置class_weight="balanced"，让少数类获得更高惩罚权重；XGBoost则用scale_pos_weight控制，要让模型更关注入侵样本时，这个值可以设为负样本数除正样本数的比值。这两个参数是后面避坑章「模型只会说正常」的最直接解药。

3.2 训练脚本：从特征矩阵到分类报告的完整实现

先套用一个适合多分类入侵检测场景的函数结构，后面替换算法和调参都方便。

from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix def train_rf(X_train, y_train, X_test, y_test): clf = RandomForestClassifier( n_estimators=200, max_depth=18, min_samples_leaf=2, class_weight="balanced", n_jobs=-1, random_state=42, ) clf.fit(X_train, y_train) pred = clf.predict(X_test) # 多分类评估，看每个类别的precision / recall / f1 print(classification_report(y_test, pred, digits=3)) return clf clf = train_rf(X_train_scaled, y_train, X_test_scaled, y_test)

n_estimators=200是随机森林里树的数量，继续加大会提一点精度但训练时间线性增长，200对NSL-KDD这个规模已经够用。max_depth=18限制每棵树的最大深度，防止单棵树学得太野。这里有一个经验值树：树的深度超过20以后，测试集指标通常不再上升，反而是训练集无限逼近100%，这时候就是过拟合。如果你看的某个复现代码里训练集准确率在99%以上、测试集却只有92%，先不要怀疑数据有问题，先调低max_depth或调高超参正则化项。

XGBoost版本在旧版1.x会输出一堆和use_label_encoder有关的警告，这是历史遗留问题，不影响使用。新版2.x已经去掉了这个参数，照着官方默认写法直接跑就行。

3.3 读评估指标：不被准确率骗，才是做对了一半

入侵检测里最坑的一个指标就是整体准确率。原因是样本天然不平衡：NSL-KDD里normal和dos占了绝大多数，r2l和u2r加起来不到1%。一个什么都不学的模型全预测成normal，准确率也能超过90%。所以分类报告里的precision、recall、f1-score才是主角，尤其要盯r2l和u2r这两行的召回率。

还有一个安全运营里常说的检测率DR和误报率FPR，这两个指标要从混淆矩阵里算出来。多分类场景先把它压成二分类视角：正常流量一类，所有攻击流量归为另一类。

import numpy as np pred_binary = (pred != "normal").astype(int) y_test_binary = (y_test != "normal").astype(int) tn, fp, fn, tp = confusion_matrix(y_test_binary, pred_binary).ravel() dr = tp / (tp + fn) # 检测率：攻击流量里被拦下的比例 fpr = fp / (fp + tn) # 误报率：正常流量里被误判的比例 print(f"DR={dr:.3f}, FPR={fpr:.3f}")

DR高、FPR低才是入侵检测系统追求的形态。比如DR=0.90、FPR=0.02，意思是90%的攻击能拦下，但每100条正常请求里有2条会被误判成攻击。安全告警平台最怕的就是误报刷屏，误报率太高时运营人员会把告警直接关掉，模型再强也白搭。所以评估一个网络入侵检测模型，不要只盯着accuracy一行，把classification_report整个贴到实验记录里才是正经。

4. 踩坑笔记：数据泄漏、类别不平衡与指标虚高的5个真实问题

4.1 数据泄漏：scaler在切分前fit，验证集指标虚高一截

现象：代码里先对整个X做了StandardScaler，再切分训练测试集，测试集准确率异常高，换成新数据验证时效果立刻打折。

原因：这份数据集里流量特征带有分布信息。比如src_bytes的均值，本来只应该从训练样本里学，你却在切分前就让scaler“偷看”了测试集的分布。模型在训练时就已经间接学到了测试集统计信息，评估结果不再是真正的泛化效果。这在机器学习检测的论文复现里是常见翻车点。

解决：严格按「切分 → fit训练集 → transform训练集和测试集」的顺序。同样的道理适用于OneHot编码器和缺失值填充器，凡是带fit方法的预处理对象，一律只用训练集fit。后面如果要加交叉验证，应该把标准化放进Pipeline里，避免每一折都发生泄漏。

4.2 类别不平衡：模型只会说「正常」，攻击样本一条都没拦下

现象：训练完模型，整体准确率95%以上，但打开classification_report发现r2l、u2r的召回率是0.00，所有攻击样本都被判成了正常。

原因：数据集中正常流量占比过高，模型发现把一切都预测成norma就能拿高分。这是机器学习检测落地时最典型的黑匣子陷阱——不打开报告看分项指标，根本发现不了模型已经退化成“全正常分类器”。

解决：第一步在模型层面处理，随机森林加class_weight="balanced"，XGBoost算好scale_pos_weight。第二步在数据层面处理，对少数类做SMOTE过采样，或者反过来对多数类降采样。但注意SMOTE要在切分之后做，而且要单独fit训练集，否则同样会造成数据泄漏。第三步才是不平衡检测的进阶玩法：把问题从多分类改回二分类，先让系统具备「正常/攻击」的区分能力，再讨论攻击类型的细分。

4.3 R2L和U2R学不动：不是模型问题，是样本和特征都缺

现象：无论随机森林还是XGBoost，r2l和u2r的召回率始终在低位徘徊，换了几个算法都提不动。

原因：这两个类在NSL-KDD训练集里一共只有几百条到一千条样本，是所有样本的极小部分。模型没有足够的正样本可学。更麻烦的是NSL-KDD的特征维度是为检测DoS和Probe设计的，对R2L这类靠「利用系统漏洞获得权限」的攻击本身就缺少有区分度的统计特征。

解决：接受这个天花板，把它写进实验结论里，而不是硬调超参找死。常见做法是给出各攻击类别的召回率对比表，指出R2L和U2R的检测瓶颈，再用真实数据集（如UNSW-NB15）补充说明新特征或新数据对这两个类的改善。这个问题在学术论文里都是公开难题，你复现时绕不过去，但能把这个点讲清楚，反而说明你理解了这个问题。

4.4 把多分类和二分类混着做：标签定义前后不一致

现象：前处理时用map_label把标签归成了5类，训练时是多分类，但到了评价检测效果时又按二分类混淆矩阵算DR和FPR，发现数字对不上，自己都不知道哪一步算错了。

原因：很多源码会在不同脚本里反复加载数据，一份脚本里标签做了归类，另一份脚本里直接读原始标签。两个阶段的类定义不一致，导致模型预测结果和评估代码错位。

解决：固定一份标签映射文件或者一个函数，实体类只保留5个：normal、dos、probe、r2l、u2r。检测率DR的计算永远基于二分类视图的pred != "normal"和y_test != "normal"，不再重复改标签。把random_state、数据文件路径、标签映射写到一个配置文件里，保证每次实验都是同一套设定。

4.5 数据集失真：NSL-KDD跑出来的好结果，不能当真实网络效果用

现象：NSL-KDD测试集上DR在85%~95%，你把它包装成成品模型，想接到公司网关流量上做实时检测，结果告警和误报都乱成一锅粥。

原因：NSL-KDD生成自1998年的模拟网络环境，很多攻击方式在今天的真实流量里早已变形甚至消失，而新出现的攻击类型又完全没有覆盖。它更适合做算法对比研究，而不是直接当生产级检测器。

解决：把这一步的边界写清楚。做毕设可以说「在NSL-KDD上验证了算法的可行性」，但落地到真实网络前，必须用CICIDS2017这类新数据重新训练，并且要在你自己的流量样本上做离线回放测试。源码的价值在于给你一套标准化的训练和评估流程，换数据集时替换加载函数即可，模型能保留下来继续用。

5. 把检测模型接到真实流量：特征对齐与概率阈值

5.1 模型持久化与单条流量特征预测

训练完的模型要能在不重跑训练的情况下独立做检测。用joblib保存模型和scaler，加载后构造一条样本做预测。关键在于特征列顺序必须和训练时完全一致，这一步通常在源码包里会有体现。

import joblib import numpy as np # 保存模型与标准化器 joblib.dump(clf, "nids_rf.pkl") joblib.dump(scaler, "nids_scaler.pkl") # 加载模型做单条预测 loaded = joblib.load("nids_rf.pkl") loaded_scaler = joblib.load("nids_scaler.pkl") # 构造一条特征样本，特征顺序需要和训练集X完全一致 sample = np.zeros((1, X.shape[1])) sample[0, feature_cols.index("src_bytes")] = 500 sample[0, feature_cols.index("dst_bytes")] = 2000 sample_scaled = loaded_scaler.transform(sample) proba = loaded.predict_proba(sample_scaled)[0] normal_idx = list(loaded.classes_).index("normal") attack_score = 1 - proba[normal_idx] if attack_score >= 0.6: print("异常流量，攻击概率:", round(attack_score, 3)) else: print("正常流量，攻击概率:", round(attack_score, 3))

这里用predict_proba而不是predict，是因为安全场景下不要硬性二选一。0.6这个阈值是我在本项目中的习惯取值，实际应该根据DR和FPR的平衡来选择：阈值调低，检测率提高但误报也会变多；阈值调高，误报减少但攻击漏报变多。把阈值做成参数写进配置，回放一批已标注流量画ROC曲线，再定最终阈值，这是比拍脑袋设0.5更可靠的做法。

5.2 从离线CSV到实时流量：怎么把网络包变成同款特征

CSV只是离线特征，真实环境里拿到的是一堆pcap文件。接入链路大致是：抓包 → 会话切分 → 特征提取 → 模型预测。会话切分和特征提取是源码之外最大的工程量。如果你要快速验证模型的在线效果，可以用tshark从pcap里提取基础字段，再按连接维度聚合出和训练集对齐的特征。

tshark -r capture.pcap -T fields \ -e ip.src -e ip.dst -e tcp.srcport -e tcp.dstport \ -e frame.len -e frame.time_epoch

常见做法是先按五元组加时间窗口把pcap切出会话流，然后统计每条会话的持续时间、上下行字节数、相同服务连接占比等字段。这些字段正好对应NSL-KDD里duration、src_bytes、srv_count这类列。特征顺序是这里面最玄学的一环：OneHot编码后列名顺序由编码时的数据决定，稍不一致模型就完全失灵。所以建议在预处理后把X.columns保存成JSON文件，检测端加载模型时先按这个文件重建列顺序，再往里填特征值。

我自己在早期做入侵检测实验时吃过随机状态不固定的亏，同一份数据两次训练出来的结果差两个百分点，完全说不上话。后来养成把所有随机种子、数据集版本和特征列顺序写进配置文件再跑实验的习惯，省了很多返工。这套源码如果你也是拿来跑实验或做课设，建议沿用同一个习惯。希望这篇能帮你把该绕的弯绕开，在合法授权的前提下，把机器学习检测这条路走扎实。

本文还有配套的精品资源，点击获取