基于机器学习的入侵检测系统实战：从数据集选型到模型部署

简介：高分Python毕业设计《基于机器学习的入侵检测系统》提供完整源码、数据集与详细文档，面向计算机相关专业学生及毕业设计开发者，适合用作毕设项目、课程设计或项目初期演示。项目围绕入侵检测任务，涵盖数据包嗅探、特征处理与SVM模型构建等核心模块，代码包含清晰注释，可直接运行并支持二次改造，帮助学习者快速掌握机器学习在网络安全中的应用流程。资源共23个文件，以Python脚本、XML项目配置、Markdown说明文档为主，同时包含数据集压缩包，整体仅19KB，结构轻量清晰，便于下载与本地调试。已有549人学习下载，适合初涉机器学习或网络安全方向的同学参考进阶。随包附带的README详细说明项目结构、运行环境与实验步骤，可辅助理解从数据采集到模型评估的完整流程。

1. 基于机器学习的入侵检测系统：拿到源码和数据集，先从哪里动手

“基于机器学习的入侵检测系统”是Python方向毕业设计里被问得最多的一类题目。很多时候你在网上找到一份带源码+数据集+详细文档的项目包，兴致勃勃运行train.py，发现训练脚本能跑，但答辩老师问“你的系统到底能检测哪些攻击、为什么用这个模型”时，就答不上来了。这篇笔记不评价某一份源码写得好不好，而是把这条技术路线的必备环节拆开：数据集怎么选、预处理怎么做、模型怎么训练、怎么包成带后端接口的系统、文档怎么写，以及最常见翻车点在哪。适合准备Python毕业设计的学生，也适合刚接触机器学习和网络安全交叉方向、想尽快做实验验证的开发者。

2. 入侵检测中的机器学习原理与数据集选型：先搞清检测对象，再动手写代码

拿到数据集后先别急着跑模型。只有先把“入侵检测”还原成一个机器学习问题，后面写代码才不会变成盲调参数。

2.1 入侵检测系统到底在解决什么问题：从流量特征到分类标签

传统入侵检测系统大多依赖规则库和签名匹配，管理员把已知攻击的特征码写成规则，流量命中规则就报警。问题是攻击手法只要稍作变形，规则就失效，维护成本也很高。换成机器学习之后，核心思路是把“检测”当作一个分类任务或者异常检测任务。

分类任务的输入是一条网络连接或一段会话的特征，输出是正常或某个攻击类型。比如一条连接可以有这些特征：连接时长、协议类型、目标端口、发送字节数、接收字节数、连接状态、过去两秒内同一主机的连接数等。模型要做的是从这些特征里找到攻击行为与正常行为之间的统计差异。异常检测则是只学习正常流量的分布，偏离正常分布太多的样本被判为可疑。毕业设计如果追求可解释性和答辩容易讲，我一般建议先做有监督分类，因为标签明确、评估指标直观。

这里有一个关键认知：入侵检测的数据分布和普通业务数据不一样，攻击样本占比往往很低，正常流量占绝大多数。这个问题会直接影响采样、评估指标和分类阈值。所以在做特征工程之前，必须先把一条原始日志拆解成“特征列 + 标签列”，并统计标签分布。拿常用的NSL-KDD数据集来说，特征列有41个，标签列是normal或某种攻击类型。先做数据描述性统计，看看哪些列是类别型、哪些列是数值型、有没有缺失值。这一步做得越细，后面返工越少。

2.2 数据集选型：NSL-KDD 与 CICIDS2017 的取舍

毕设里常用的入侵检测数据集有两个：NSL-KDD和CICIDS2017。NSL-KDD是KDDCup99的改进版本，去掉了大量重复记录，样本规模控制在十万级，特征是41个，标签包含正常和多种攻击类别。优点是轻量、跑得快、参考资料多，几乎每个机器学习入侵检测教程都会拿它做例子；缺点是流量场景比较老，答辩时容易被追问“能不能检测现在的新攻击”。

CICIDS2017是加拿大网络安全研究所发布的流量数据集，包含了多天的完整双向网络流量，协议和应用更接近真实环境，特征有80多个，数据量达到百万级，光是把原始PCAP解析成特征就能耗掉不少时间。优点是新鲜、说服力强；缺点是类别不平衡严重，预处理工作量大，普通笔记本电脑跑一轮训练要等很久。

我的建议是：如果目标是快速把系统跑通，先选NSL-KDD，它足够说明整个技术流程；如果想让项目有“高阶感”，可以在NSL-KDD跑通后，再用CICIDS2017做对比实验。两者对比可以用下面这张表：

选数据集不只看“哪个效果好”，还要看机器配置和答辩时间。如果机器只有8G内存，强行上百万级数据只会让进度停滞。先用小数据把流程跑通，再谈优化，是毕业设计里性价比最高的路径。

2.3 评估指标：为什么准确率在入侵检测里不靠谱

很多项目脚本把准确率打印在第一行，答辩老师一问就露馅。入侵检测场景里正常样本往往占80%以上，一个“永远预测正常”的模型也能拿到很高的准确率，但它没有任何防御价值。正确做法是看误报率和检出率，更常用的是F1分数和AUC。

举个例子：假设有1000条流量，其中950条正常、50条攻击。模型把1000条全部判为正常，准确率是95%，但攻击样本的召回率是0，系统形同虚设。所以在评估时要把混淆矩阵打出来，分别看normal和attack两类的精确率、召回率和F1。对攻击类来说，召回率表示有多少攻击被拦下来；精确率表示报警中有多少是真攻击。训练目标不是让accuracy最高，而是让攻击类F1合理、误报可接受。

毕设文档里放一张混淆矩阵热力图、一段classification_report，比单独放一个“99%准确率”有说服力得多。后面调参数时也要盯着攻击类的F1，而不是总准确率。

3. 实现一个可运行的检测流程：数据清洗、特征编码、模型训练与单条检测

这一章给出一套可以照抄的最小实现。用到的库是pandas、scikit-learn，模型用随机森林。代码不追求极限精度，目的是把从原始数据到预测接口的路走通。

3.1 预处理脚本：把NSL-KDD转换成模型输入并避免数据泄漏

NSL-KDD数据集的字段数量比较多，建议先把列名固定好再读取。下面这段代码读取CSV，把攻击标签统一成二分类，并对三个类别型特征做独热编码。

import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler feature_names = [ 'duration', 'protocol_type', 'service', 'flag', 'src_bytes', 'dst_bytes', 'land', 'wrong_fragment', 'urgent', 'hot', 'num_failed_logins', 'logged_in', 'num_compromised', 'root_shell', 'su_attempted', 'num_root', 'num_file_creations', 'num_shells', 'num_access_files', 'num_outbound_cmds', 'is_host_login', 'is_guest_login', 'count', 'srv_count', 'serror_rate', 'srv_serror_rate', 'rerror_rate', 'srv_rerror_rate', 'same_srv_rate', 'diff_srv_rate', 'srv_diff_host_rate', 'dst_host_count', 'dst_host_srv_count', 'dst_host_same_srv_rate', 'dst_host_diff_srv_rate', 'dst_host_same_src_port_rate', 'dst_host_srv_diff_host_rate', 'dst_host_serror_rate', 'dst_host_srv_serror_rate', 'dst_host_rerror_rate', 'dst_host_srv_rerror_rate' ] df = pd.read_csv('KDDTrain+.csv', names=feature_names + ['label', 'difficulty']) df.drop(columns=['difficulty'], inplace=True) # 统一成二分类：normal / attack df['label'] = df['label'].apply(lambda x: 'attack' if x != 'normal' else 'normal') # 对三个类别型特征做独热编码 df = pd.get_dummies(df, columns=['protocol_type', 'service', 'flag']) X = df.drop(columns=['label']) y = df['label'] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, stratify=y, random_state=42 ) # 标准化：只在训练集上fit，避免数据泄漏 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) feature_columns = X_train.columns.tolist()

这段代码的关键点有两个。第一，stratify=y能保证训练集和测试集中的正常/攻击比例一致，避免切分时把攻击样本全分到一边。第二，scaler.fit_transform和scaler.transform分开使用，是因为标准化会用训练集的均值和方差去转换测试集，如果在全量数据上先fit再切分，测试集的信息已经渗入训练过程，模型评估就失去了意义。

三个类别特征protocol_type、service、flag用get_dummies而不是LabelEncoder，是因为类别之间没有天然顺序。独热编码会把维度从44列扩展到100列左右，随机森林可以接受。后续如果用逻辑回归，标准化就是必需的；即使用树模型，保留这步也能方便替换模型对比。

3.2 训练随机森林模型：参数设置和分类报告解读

随机森林是入侵检测里非常稳妥的起步模型。它不容易过拟合，能输出特征重要性，也方便答辩时解释。下面这段代码完成训练和评估。

from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix model = RandomForestClassifier( n_estimators=200, max_depth=20, min_samples_leaf=2, class_weight='balanced', n_jobs=-1, random_state=42 ) model.fit(X_train_scaled, y_train) y_pred = model.predict(X_test_scaled) print(classification_report(y_test, y_pred, target_names=['normal', 'attack'])) print(confusion_matrix(y_test, y_pred))

参数说明如下：n_estimators=200表示建立200棵决策树，太少容易欠拟合，太多会明显增加预测时间，200在这个数据规模下比较平衡。max_depth=20限制单棵树的深度，防止单棵树把训练集背下来。min_samples_leaf=2要求每个叶子节点至少两个样本，进一步抑制过拟合。class_weight='balanced'是应对类别不平衡的关键参数，它会根据样本频率给少数类更高的惩罚权重，避免模型只顾着把正常样本分对。

输出里的classification_report要重点看attack这一行的recall和f1。recall表示攻击样本被检测出来的比例，f1是precision和recall的折中。如果recall很低，说明大多数攻击被漏掉了；如果precision很低，说明误报太多，正常业务会被频繁打断。根据数据集不同，目标可以设置为f1在0.85以上。

3.3 保存模型并做单条流量预测：特征对齐才是关键

训练完成后，把模型、标准化器和特征列一起保存成一个文件。以后演示或部署时直接加载这个包，而不是重新训练。

import joblib joblib.dump({ 'model': model, 'scaler': scaler, 'features': feature_columns }, 'ids_model_package.joblib') def predict_sample(feature_row): package = joblib.load('ids_model_package.joblib') model = package['model'] scaler = package['scaler'] features = package['features'] # 把一条样本转成DataFrame，并保证列顺序一致 X_new = pd.DataFrame([feature_row]) X_new = X_new.reindex(columns=features, fill_value=0) X_new_scaled = scaler.transform(X_new) proba = model.predict_proba(X_new_scaled)[0] label = model.classes_[proba.argmax()] return label, max(proba)

这里最容易踩坑的是特征列对齐。训练时独热编码会生成完整类别集合，比如service_http、service_smtp等；但单条流量样本可能只有其中一部分，直接get_dummies后列名顺序和数量很可能不一致。reindex(columns=features, fill_value=0)的作用就是按训练时的列顺序重建，缺失列用0填充，保证送入模型的数据结构完全相同。joblib适合存scikit-learn对象，比pickle更安全高效。

这段代码里的predict_sample每次加载模型，仅适合做单条验证。实际Web应用中，模型应该启动时加载一次，不能放进每个请求里。

4. 把散件拼成一个能答辩的毕业设计：源码结构、可视化后端与文档

训练脚本只能证明模型有效，离“毕业设计”还差一截。这一章讲项目工程结构、后端接口和文档怎么写，让评分老师觉得你不是只跑了实验，而是完成了一个系统。

4.1 源码目录划分：训练脚本、部署脚本和数据要分开

很多学生把代码、数据集、模型全放在同一个目录，运行靠命令行手动指定路径，答辩时换台机器就找不到文件。比较合理的结构是这样：

project/ ├── app.py # Flask部署入口 ├── requirements.txt # 固定依赖版本 ├── data/ │ ├── raw/ # 原始数据集 │ └── processed/ # 清洗后的特征数据 ├── models/ # 训练产物 │ └── ids_model_package.joblib ├── src/ │ ├── preprocess.py # 数据处理脚本 │ ├── train.py # 模型训练脚本 │ └── predict.py # 单条预测封装 ├── docs/ │ └── 毕业设计文档.md └── notebooks/ └── explore.ipynb # 数据探索notebook

src只放源脚本，data放数据，models放训练产物，docs放文档，notebooks放探索过程。这种分法让评审老师一眼看出项目的模块边界。requirements.txt里要固定主要库的版本，比如pandas==1.5.3、scikit-learn==1.2.2、flask==2.3.0，避免答辩时环境不一致导致跑不起来。

另外，训练脚本和部署脚本要独立。train.py负责从原始数据生成模型；app.py只加载模型，不训练模型。这样演示时即使服务器配置不高，也能快速响应。

4.2 用Flask做一个检测接口：只留一个POST接口就够了

毕业设计不一定要做花哨界面，一个能提交样本、返回预测结果的后端接口足够撑起演示。用Flask实现最小接口非常快。

from flask import Flask, request, jsonify import pandas as pd import joblib app = Flask(__name__) # 全局加载模型，避免每次请求重复读磁盘 package = joblib.load('models/ids_model_package.joblib') model = package['model'] scaler = package['scaler'] features = package['features'] @app.route('/predict', methods=['POST']) def predict(): payload = request.get_json() raw = pd.DataFrame([payload['features']]) # 独热编码 + 对齐训练特征列 encoded = pd.get_dummies(raw) encoded = encoded.reindex(columns=features, fill_value=0) scaled = scaler.transform(encoded) proba = model.predict_proba(scaled)[0] label = model.classes_[proba.argmax()] confidence = float(max(proba)) return jsonify({'label': label, 'confidence': confidence}) if __name__ == '__main__': app.run(host='0.0.0.0', port=5000, debug=False)

重点解释三个地方。第一，joblib.load放在模块导入位置，模型只加载一次，接口响应速度会快很多。第二，pd.get_dummies(raw)生成的列很可能少于训练时的列，后面必须reindex(columns=features, fill_value=0)，这一步是预测不出错的前提。第三，debug=False是必须的，答辩时开着debug模式等于把交互式调试器暴露给访问者，不仅慢，还有安全风险。

接口格式可以是JSON，前端页面用表单把一条样本的特征发过来，后端返回标签和置信度。如果想再增加一点演示效果，可以再做一个小页面，把返回结果显示成“正常流量”或“检测到攻击”。

4.3 详细文档怎么写：从数据探索到实验结论

分数高低往往由文档决定，因为答辩老师没有时间一行行看你的代码。文档不必写得像硕士论文，但结构要完整。常见做法是沿用毕业设计模板，重点写以下部分：

• 绪论：为什么做入侵检测，现有规则系统有什么不足
• 相关技术：Python生态、机器学习分类算法、数据集介绍
• 系统设计：数据集选择理由、特征工程步骤、模型选型对比
• 实验与结果：混淆矩阵、分类报告、ROC曲线、不同模型效果对比
• 总结与展望：当前方案的局限，比如无法检测未知攻击

每一张图都要有图标题和数据说明。notebooks/explore.ipynb里放标签分布、特征相关性、PCA可视化，这些截图可以直接贴进文档。模型对比可以用随机森林、逻辑回归、XGBoost各跑一遍，把F1整理成一张表，让人看到你确实做了选型，而不是只会调一个轮子。

5. 避坑指南：基于机器学习的入侵检测系统最容易翻车的五个点

这一章是踩坑记录，每一条都按“现象 → 原因 → 解决”的顺序写。

5.1 训练集F1很高，测试集和演示时全面拉垮：数据泄漏

现象：训练时报F1接近0.95，换到测试集或现场演示时F1直接掉到0.6，甚至更差。

原因：最常见的是数据预处理泄漏。比如对整个数据集先做标准化，再切分训练集和测试集，或者用get_dummies在全量数据上跑完之后再切分，都会让模型提前看到测试集的统计信息。另一个常见原因是特征里混入了和标签直接相关的字段，比如已经把“是否攻击”作为特征放进去了。

解决：严格遵循“先切分，再训练预处理参数”。标准化只调用一次fit_transform，对象是训练集；测试集只调用transform。独热编码要在切分之后分别处理，并且保存训练集的列名，确保测试集用相同的列集合。建议在train.py里把切分放在数据读取后第一件事。

5.2 模型只输出“正常”，攻击样本一个都拦不到：类别不平衡与默认阈值

现象：模型跑完了，classification_report里normal的F1有0.9，但attack的recall是0，也就是说所有攻击都被当成正常。

原因：正常样本远多于攻击样本，模型发现只要全部判为正常，整体损失就能降到很低。默认分类阈值又固定在0.5，攻击类的预测概率往往低于这个值，所以全被归到正常类。

解决：先给模型加class_weight='balanced'，让少数类获得更高权重。如果还不行，不要用默认0.5阈值，应该根据ROC曲线找一个更合理的阈值。对入侵检测来说，优先保证攻击类召回率，哪怕误报多一点也可以接受；如果误报太高，再结合后续验证缓解。

5.3 预测时频繁报错：ValueError: columns / input contains NaN

现象：训练一切正常，一到predict接口就报“ValueError: columns are different”或者“Input contains NaN”。

原因：单条样本做get_dummies后，产生的列比训练集少，顺序也不一样；某些数值字段为空时pandas会出现NaN。比如训练集里有service_http，测试样本里没有这个值，独热后这一列就消失了。

解决：保存训练列名，在预测前执行reindex(columns=features, fill_value=0)，把缺失列补0。数据读入后先检查每列是否有NaN，统一用0填充或按数值特征填充中位数。不要试图手写列映射，那很容易漏列。

5.4 训练集和演示数据来源不同，模型“跨域”失效

现象：用NSL-KDD训练的模型，拿CICIDS2017里的样本或者现场抓的流量来预测，结果几乎全是“攻击”，或者干脆所有样本都成了一个类别。

原因：不同数据集的会话定义、特征计算方式、协议字段、时间跨度都不一样。NSL-KDD里的特征和CICIDS2017的特征虽然名字可能接近，但数值口径完全不同，模型学到的分布没法直接迁移。

解决：如果毕业设计只需要演示流程，就保持训练数据和测试数据同源，别混用。如果要体现“实时检测”，最好的做法是用同一套数据切出一部分模拟新流量，或者提前把现场流量按数据集的特征定义做好映射。交叉形式演示比声称“能检测真实网络攻击”更稳妥。

5.5 Flask演示接口很慢，越点越卡：每次请求都重新加载模型

现象：单次调用接口能出结果，但连点几次后响应明显变慢，内存还一路飙升。

原因：把joblib.load写在了predict函数里，每个请求都重新读一遍模型文件，并且没有释放旧对象。在Windows机器上尤其明显，磁盘读取和序列化开销会把接口拖垮。

解决：把模型加载移到模块顶层，服务启动时只加载一次。如果模型文件较大，还可以用全局变量缓存。另外，n_jobs=-1训练时并行是好事，但部署到小内存机器时可以考虑降低或避免在预测阶段重新初始化线程池。

6. 常用小技巧：用交叉验证和阈值调整把模型结果再稳一档

到这一步项目已经能跑了，但想拿高分，还需要把结果做得更可信。我建议加两件事：交叉验证和阈值调整。

交叉验证的作用是评估模型稳定性，而不是只看一次随机切分的结果。用StratifiedKFold做5折交叉验证，每一折都保持正常/攻击比例，最后看平均F1和标准差。标准差越小，说明模型在不同数据子集上表现越稳定，答辩时这就是一个很好的说辞。

from sklearn.model_selection import StratifiedKFold, cross_val_score cv = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) scores = cross_val_score(model, X_train_scaled, y_train, cv=cv, scoring='f1_macro') print("平均F1:", scores.mean(), "标准差:", scores.std())

阈值调整也很容易被忽略。默认阈值0.5只适合正负样本均衡的情况，入侵检测中攻击样本比例低，可以让模型在验证集上找出约登指数最大的阈值，也就是让“召回率减误报率”最大。

from sklearn.metrics import roc_curve y_test_bin = y_test.map({'normal': 0, 'attack': 1}) proba = model.predict_proba(X_test_scaled)[:, 1] fpr, tpr, thresholds = roc_curve(y_test_bin, proba) j_scores = tpr - fpr best_threshold = thresholds[j_scores.argmax()]

之后在预测时，把概率大于best_threshold的样本判为攻击，而不是直接取概率最大的类别。这样能更贴合业务需求：宁可多报几个误报，也不漏掉攻击。

我现在的习惯是训练完先把特征列清单、标准化参数和最佳阈值一起存进模型包，答辩现场换机器也能复现。这个小习惯让我少踩了不少坑，希望帮到你。

本文还有配套的精品资源，点击获取