NSL-KDD入侵检测实战：从特征工程到LightGBM模型评估

简介：基于NSL-KDD数据集的Python入侵检测模型项目，面向计算机相关专业正在完成期末大作业、课程设计或毕业设计的学生，也适合需要项目实战练习的Python开发者。资源包共27个文件，约30MB，其中csv为NSL-KDD原始及预处理数据，ipynb为交互式建模与评估流程，py为数据读取与处理脚本，m为训练好的模型文件，docx/txt则为配套文档说明；项目同时提供带PCA与不带PCA两种模型对比，帮助理解降维对入侵检测性能的影响。压缩包采用zip格式，文件组织清晰，覆盖数据获取、清洗、特征工程、模型训练和性能评估完整链路。已有80人学习下载，代码完整确保可运行，并经导师指导获得高分评价，参考价值较高。下载后可获得整套源码与文档说明，按照目录即可快速复现实验结果，也可灵活修改特征工程、模型参数或评估指标，迁移到其他网络安全任务中，节省大量从零搭建和调试的时间。

1. 用NSL-KDD做入侵检测：先把这个数据集在干什么说清楚

NSL-KDD是网络安全领域做入侵检测最常被拿来做基线对比的数据集，算是KDD CUP 99的修正版，去掉了大量冗余记录，类别分布也做了重采样。拿Python做入侵检测模型，很多人第一站就是它：数据规模适中、特征相对规整、分类目标明确，而且公开的对比结果多，容易判断自己做的模型到底行不行。这篇笔记会沿着数据准备、特征工程、模型训练、评估和踩坑展开，尽量让新手能照着跑通，也让熟手在参数和边界上有点参考。最终你会拿到一套能复现、能改、能继续往上叠的完整思路，而不是只看到一个孤零零的准确率数字。

2. 数据下载、标签划分与特征工程：从41维原始特征到训练矩阵

2.1 下载KDDTrain+与KDDTest+，先搞清文件里有什么

NSL-KDD官方提供的主文件是KDDTrain+和KDDTest+，还有一个用途特殊的KDDTest-21（它是KDDTest+里去掉最容易识别记录的子集，专门用来模拟更难的环境）。初次使用建议只拿KDDTrain+和KDDTest+就够了，训练集和测试集的规模关系刚好用来做二分类与多分类对比，不需要额外切验证集的时候也可以直接用官方划分。

KDDTrain+文件本身是文本格式，没有表头，每条记录41个特征加一个标签。41个特征里有3个离散型（protocol_type、service、flag），其余是连续型。数据列的顺序是固定的，加载时如果不指定列名，后面特征工程没法做。下面这段加载脚本是整套源码里最基础的一步：

import pandas as pd columns = [ "duration", "protocol_type", "service", "flag", "src_bytes", "dst_bytes", "land", "wrong_fragment", "urgent", "hot", "num_failed_logins", "logged_in", "num_compromised", "root_shell", "su_attempted", "num_root", "num_file_creations", "num_shells", "num_access_files", "num_outbound_cmds", "is_host_login", "is_guest_login", "count", "srv_count", "serror_rate", "srv_serror_rate", "rerror_rate", "srv_rerror_rate", "same_srv_rate", "diff_srv_rate", "srv_diff_host_rate", "dst_host_count", "dst_host_srv_count", "dst_host_same_srv_rate", "dst_host_diff_srv_rate", "dst_host_same_src_port_rate", "dst_host_srv_diff_host_rate", "dst_host_serror_rate", "dst_host_srv_serror_rate", "dst_host_rerror_rate", "dst_host_srv_rerror_rate" ] label_column = "label" train_df = pd.read_csv( "KDDTrain+.txt", header=None, names=columns + [label_column] ) test_df = pd.read_csv( "KDDTest+.txt", header=None, names=columns + [label_column] ) print(train_df.shape, test_df.shape) print(train_df["label"].value_counts())

这段代码做的事很简单：指定列名读取训练和测试文件，然后看一眼标签分布。names参数负责把文件里没有表头的41个特征列和最后的label列一次性映射好，避免后面用iloc按位置取列时记错索引。如果文件在你当前目录的上级或某个子目录，记得把路径写全，这里写的是相对路径。

value_counts()这一步不要跳过。KDDTrain+的标签分布里，normal大约占一半，剩下的一半分布在neptune、satan、ipsweep等具体攻击类型上。只有先看清这个分布，你才能判断后面模型的类别权重怎么设。一个常见误区是一上来就做独热编码，把label列也一起编码了，最后模型训练时发现目标变量也变成了一堆二进制列，明显是没分清特征和目标。

2.2 离散特征编码与连续特征标准化：构建模型真正吃的数值矩阵

NSL-KDD的41维特征里，protocol_type、service、flag是离散值，比如协议类型有tcp、udp、icmp，service有几十种取值。树模型可以直接吞字符串，但绝大多数Python机器学习流程里还是要先转成数值。flag的特征含义是连接的结束状态，取值虽然多，但和攻击类型有很强的相关性，编码时不要嫌麻烦把它丢掉。

连续特征这边的经典坑是量纲差异极大：src_bytes动辄上百万，duration可能只有0，而serror_rate这类比例特征都落在0到1之间。如果后面接的是逻辑回归、SVM或者神经网络，不标准化会让模型训练很难收敛。下面的脚本把离散特征和连续特征分开处理，最后拼成一份完整的数值矩阵：

from sklearn.preprocessing import LabelEncoder, StandardScaler import pandas as pd categorical_cols = ["protocol_type", "service", "flag"] numeric_cols = [c for c in columns if c not in categorical_cols] train_df = train_df.dropna().reset_index(drop=True) # 对离散特征做标签编码，注意要用同一个 encoder 去 transform 测试集 encoders = {} for col in categorical_cols: le = LabelEncoder() train_df[col] = le.fit_transform(train_df[col]) encoders[col] = le # 连续特征标准化：只 fit 训练集，测试集用同一套参数 scaler = StandardScaler() train_df[numeric_cols] = scaler.fit_transform(train_df[numeric_cols]) # 对测试集用训练集上拟合好的 encoder 和 scaler for col in categorical_cols: le = encoders[col] test_df[col] = test_df[col].map(lambda s: s if s in le.classes_ else "unknown") le.classes_ = list(le.classes_) + ["unknown"] test_df[col] = le.transform(test_df[col]) test_df[numeric_cols] = scaler.transform(test_df[numeric_cols]) print(train_df.shape, test_df.shape)

这里有两个必须注意的细节。第一个，LabelEncoder在测试集上会翻车。如果测试集里出现训练集没见过的新service取值（NSL-KDD真实存在这个问题），直接transform会抛异常，所以代码里先用map把不在classes_里的值替换成unknown，再把unknown追加进类别列表。这是处理这类数据最常见的边界情况。

第二个，StandardScaler只能用训练集fit。很多人在一开始就把训练和测试拼接在一起做标准化，这在信息泄露的语义下是有争议的：测试集的均值和方差被融入训练过程数据。尽管在小规模数据集上对最终效果影响不明显，但按规范做法还是分开fit和transform，后面的实验对照才站得住脚。标准化对树模型不是必须，但对逻辑回归、SVM这类模型影响很大，如果你打算多跑几个基线模型对比，这一步省不掉。

2.3 标签的两种口径：二分类还是五分类

NSL-KDD里存在两套标签体系。二分类只区分normal和attack，这是大多数人入门时的目标；五分类则把攻击样本拆成dos、probe、u2r、r2l四类，加上normal一共五类。源码里通常两种口径都会做，原因是它们各自的难点不一样。

# 二分类标签：把 attack 统一归为一类 def make_binary_label(label): return 0 if label == "normal" else 1 train_bin = train_df["label"].apply(make_binary_label) test_bin = test_df["label"].apply(make_binary_label) # 五分类标签：把具体攻击名映射到四类攻击 attack_mapping = { "neptune": "dos", "smurf": "dos", "back": "dos", "teardrop": "dos", "pod": "dos", "land": "dos", "apache2": "dos", "processtable": "dos", "mailbomb": "dos", "udpstorm": "dos", "satan": "probe", "ipsweep": "probe", "nmap": "probe", "portsweep": "probe", "mscan": "probe", "saint": "probe", "buffer_overflow": "u2r", "rootkit": "u2r", "loadmodule": "u2r", "perl": "u2r", "httptunnel": "u2r", "ps": "u2r", "sqlattack": "u2r", "xterm": "u2r", "guess_passwd": "r2l", "warezmaster": "r2l", "warezclient": "r2l", "spy": "r2l", "imap": "r2l", "ftp_write": "r2l", "multihop": "r2l", "phf": "r2l", "snmpgetattack": "r2l", "snmpguess": "r2l", "named": "r2l", "sendmail": "r2l", "xlock": "r2l", "xsnoop": "r2l", "worm": "r2l" } def make_multiclass_label(label): if label == "normal": return "normal" return attack_mapping.get(label, "dos") # 防御性兜底，实际不应出现 train_multi = train_df["label"].apply(make_multiclass_label) test_multi = test_df["label"].apply(make_multiclass_label)

注意label字段在训练文件里对每个样本是具体的攻击名（如neptune），而不是大类名，所以需要做映射。兜底返回"dos"是保险写法，正常情况不会触发。另外要记住，KDDTest+里的攻击类型有相当一部分是训练集从未出现过的（也就是未知攻击），例如apache2、mailbomb等，这类样本对模型的泛化能力是真实考验。五分类时它们的映射依然存在，但模型没见过对应样本，预测效果通常很差，这是本数据集的一个结构性难点，后面评估章节会专门说。

3. 建立入侵检测模型：梯度提升树为什么是首选，以及最小可训练代码

3.1 选型理由：树模型在表格数据上比神经网络更稳

很多第一次做NSL-KDD的人会直接上深度神经网络，理由是“入侵检测听着很高级”。但实际跑一遍就会发现，这个数据集样本量不大，维度也不算高，深度模型叠加出来的优势非常有限，反而对预处理和超参数很敏感。相比之下，梯度提升树（GBDT）在这类结构化表格数据上通常两三百棵树就能收敛得很干净，训练速度快，调参空间小，结果还容易解释。

决策树天然能处理特征间的非线性交互，比如count和serror_rate的组合关系常常能直接区分出扫描类攻击。LightGBM和XGBoost在NSL-KDD上作为入门基线，几乎不会翻车。后面如果你确实想上神经网络，再基于树模型的特征重要性结果筛选特征，效果会更好，这是比较推荐的前后阶段组合。

从业务角度考虑，入侵检测模型部署时往往要面对快速迭代的场景，树模型的模型文件小、推理快，轻量部署非常方便，这也是为什么工业界的流量检测系统里树模型至今仍然是常见选择。不是所有场景都需要深度学习，先把基线做扎实，再评估投入产出。

3.2 用LightGBM训练二分类模型的完整流程

下面的代码以二分类为例，从已经处理好的train_df出发，训练一个LightGBM分类器，并用KDDTest+做验证。如果你选择XGBoost，核心逻辑几乎一致，只是接口名略有差异。

import lightgbm as lgb from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, confusion_matrix import numpy as np feature_cols = columns # 41列特征全部使用 X = train_df[feature_cols].values y = train_bin.values # 训练集内部切出验证集，用于早停；测试集不参与任何训练决策 X_train, X_val, y_train, y_val = train_test_split( X, y, test_size=0.2, random_state=42, stratify=y ) model = lgb.LGBMClassifier( n_estimators=500, learning_rate=0.05, num_leaves=31, max_depth=7, subsample=0.8, colsample_bytree=0.8, random_state=42, verbose=-1 ) model.fit( X_train, y_train, eval_set=[(X_val, y_val)], eval_metric="binary_logloss", callbacks=[lgb.early_stopping(50), lgb.log_evaluation(0)] ) y_pred = model.predict(test_df[feature_cols].values) print(classification_report(test_bin, y_pred, target_names=["normal", "attack"])) print(confusion_matrix(test_bin, y_pred))

几个参数说明一下。num_leaves=31是LightGBM的默认值，控制单棵树的复杂度，过大容易过拟合，NSL-KDD的特征规模下不必调太大；max_depth=7限制树的深度，和num_leaves配合防止训练集上的精确记忆；subsample=0.8和colsample_bytree=0.8做行采样和列采样，增加了模型的鲁棒性，对后面出现未知攻击的泛化有一点帮助。

early_stopping(50)表示验证集上的loss连续50轮不下降就停止训练。这里的验证集是从KDDTrain+内部切出来的，不是KDDTest+，重要原因是KDDTest+在官方设计中就是最终评估用的，不能拿它来做早停，否则测试集的信息会通过“停在第几轮”间接泄漏给模型。stratify=y让训练集和验证集的正负样本比例保持一致，类别不平衡时尤其需要。

跑完之后打印的classification_report里，重点看attack类别的recall。入侵检测场景里，漏报攻击的后果远大于把正常流量误报成攻击，所以recall是比accuracy更重要的指标。如果attack的recall低于0.9而precision还可以，优先考虑增加n_estimators或降低learning_rate来延长训练，而不是盲目调num_leaves。

3.3 不想依赖LightGBM时：scikit-learn的随机森林兜底

LightGBM虽然快，但有些Python环境装起来会遇到编译问题。如果你卡在pip install lightgbm这一步，可以先拿随机森林顶住，效果也不会差太多。下面是替代方案：

from sklearn.ensemble import RandomForestClassifier rf_model = RandomForestClassifier( n_estimators=200, max_depth=None, min_samples_leaf=5, n_jobs=-1, random_state=42 ) rf_model.fit(X_train, y_train) y_pred_rf = rf_model.predict(test_df[feature_cols].values) print(classification_report(test_bin, y_pred_rf, target_names=["normal", "attack"]))

随机森林是一种Bagging集成，和GBDT的区别在于对异常值更鲁棒，但泛化能力通常略逊于调好的GBDT。min_samples_leaf=5是防止叶子节点完全记住训练样本的关键参数，一定要在默认值1的基础上改大。随机森林的训练时间随树的数量线性增加，NSL-KDD的训练集只有十几万行，200棵树完全够用，不需要再往上加。

4. 评估一份入侵检测模型：只看准确率会误判严重性

4.1 混淆矩阵与检测率/误报率：入侵检测里的两个关键指标

分类论文里常见的accuracy在入侵检测场景里不能作为唯一依据，因为正常流量占比高的时候，即使模型把所有样本都判为normal，准确率也可能超过70%。行业内看的是检测率（也称召回率、TPR）和误报率（FPR）这两者，有时候还会加一个F1作为平衡点。

from sklearn.metrics import confusion_matrix tn, fp, fn, tp = confusion_matrix(test_bin, y_pred).ravel() detection_rate = tp / (tp + fn) # 攻击样本被识别的比例 false_alarm_rate = fp / (fp + tn) # 正常样本被误报的比例 print(f"检测率(DR): {detection_rate:.4f}") print(f"误报率(FAR): {false_alarm_rate:.4f}")

如果你在论文或者报告里写实验结果，这两个数字通常是必放的核心指标。NSL-KDD的测试集本身正常样本比例比训练集低，所以直接算出来的false_alarm_rate会比真实业务场景偏高，你需要在文档里说清楚这个数据集的测试分布和线上分布可能有差异，否则汇报结果时容易被业务方质疑。

4.2 NSL-KDD上的已知基线：你的模型应该跑到什么水平

根据公开论文和社区复现结果，在KDDTrain+上训练、KDDTest+上评估，二分类的准确率大致落在77%到83%区间，检测率在0.8上下，误报率控制在0.1以下属于正常水平。不同论文的差异主要来自特征处理方式和是否用了类别权重，但整体都在这个范围附近。如果你跑出来准确率超过90%，先别高兴，大概率是数据泄露或者把测试集参与到训练里了。

五分类会比二分类难一个档次，尤其u2r和r2l这两类样本量很少，KDDTrain+里甚至只有几十条到两百条左右。下面这张表列出常见类别在训练集和测试集中大致量级以及检测难度，方便你对照自己的结果：

u2r和r2l在测试集中的样本反而比训练集多，这是NSL-KDD故意设计的。模型在训练时只见过极少数这类攻击，在测试时却要面对大量变体，所以这两个类的F1普遍很低。如果你看到自己的报告里u2r的F1只有0.0几，不全是模型的问题，这个数据集的设定本身就是用来逼迫你思考少样本和未知攻击的应对方案。

4.3 多分类评估的陷阱：按类别算F1，还是按总体算F1

五分类的classification_report里，accuracy是总体预测正确的比例，macro avg则是每个类别F1的算术平均。在NSL-KDD这种极度不平衡的数据集上，accuracy会被normal和dos两个大类主导，而macro avg能更诚实地反映小类的表现。报告业务侧结果时建议两个都写，同时务必把混淆矩阵画出来，不然门都摸不着。

5. 常见问题与避坑：NSL-KDD特有的五个坑

5.1 训练文件和测试文件的攻击类型不一致

现象：模型在训练集自测时准确率95%以上，换到KDDTest+后直接跌到七十几。

原因：KDDTest+里包含了大量训练集中从未出现过的攻击样本，这是设计者有意为之，用来模拟未知攻击场景。

解决：不要在自测准确率上纠结，用KDDTest+作为唯一最终评估集。如果你需要相对“友好”的结果，可以用KDDTest-21再对比一次，但报告里要说明用的是哪份测试集。

5.2src_bytes等特征出现极端值和inf

现象：标准化之后某些特征列仍然分布极差，模型输出异常。还有一些特征在原始文件里会存在inf，直接进入模型导致数值溢出。

原因：这类连接级特征天然存在长尾分布，少数超大值会把均值和方差拽歪。

解决：在标准化之前使用np.isinf和np.isnan结合fillna处理，或者对src_bytes等长尾特征做log1p变换。np.log1p是个非常实用的处理手法，能把几个数量级的特征压到可比较的区间。

5.3 标签编码在测试集上遇到新类别直接报错

现象：LabelEncoder.transform()抛出ValueError: y contains previously unseen labels。

原因：测试集的service列有训练集不存在的取值，比如http_8001这类端口服务名。

解决：如前面代码所示，在transform前把所有未见过值统一替换成unknown，并把这个新类别追加到classes_列表里。如果你的service取值有上百种，光靠LabelEncoder手动管理会很累，可以直接用sklearn的OrdinalEncoder配合handle_unknown="use_encoded_value"参数，能少写不少代码。

5.4 要不要做SMOTE或过采样

现象：五分类时u2r的F1几乎为0，有人就想到用SMOTE对少数类过采样，结果发现训练麻烦、效果提升有限。

原因：NSL-KDD的难点不只是类不平衡，还包括未知变体和特征重叠。r2l和正常流量在特征空间里本就高度重叠，硬造出来的合成样本未必落在真实决策边界上。

解决：对NSL-KDD来说，先别急着上SMOTE，优先尝试给少数类加大class_weight，或者用二分类先筛攻击、再细分攻击类型的层级建模策略。SMOTE可以放在最后做对比实验，但不要默认它一定有用。

5.5 早停和交叉验证时误用KDDTest+

现象：有人为了“充分利用数据”，把KDDTrain+和KDDTest+合并后重新划分训练集测试集，跑出来的准确率高达95%以上，自我感觉良好。

原因：KDDTest+和KDDTrain+来自不同的采样分布，合并后相当于在训练时看到了原本属于未知攻击测试分布的信息，指标严重虚高。

解决：NSL-KDD的官方划分最好原样保留，KDDTest+只做最终评估。如果要做交叉验证，内部对KDDTrain+折分即可，测试集始终独立。

6. 模型的进阶方向与验证方法：从复现到能说清效果

最后这些内容写给已经能跑通基础模型的读者。一个值得投入的方向是层次化检测，先做二分类判断“是否是攻击”，这层能得到很高的F1；对判定为攻击的样本再进入五分类模型细分攻击类型。这样做的好处是，五分类模型只面对攻击样本的子分布，u2r和r2l的样本占比能被压缩得没那么离谱，小类的F1通常比单一五分类模型高几个百分点。代码上其实就是把两步predict串起来：

# 先二分类筛出攻击样本 pred_bin = model.predict(X_test) attack_mask = pred_bin == 1 # 只对攻击样本做五分类细分类别 multi_X_test = X_test[attack_mask] if len(multi_X_test) > 0: pred_multi = multi_model.predict(multi_X_test)

这里要求先训练一个二分类模型和一个五分类模型，两个模型的特征工程可以共用同一套scaler和encoder。如果数据量允许，每层单独做特征选择效果会更明显，比如二分类阶段保留全部41维，五分类阶段只保留与攻击类型区分度高的特征子集。

另一个值得做的方向是对模型输出做置信度校准。LightGBM的predict_proba输出在入侵检测场景里常常过于自信，你可以用sklearn.calibration.CalibratedClassifierCV包一层，校准后设定一个报警阈值（比如只有预测概率超过0.7才判为攻击）。这个思路在真实流量场景里很实用，能在误报和漏报之间找到更符合成本偏好的平衡点。如果你要落地给业务方，用至少一周的真实流量做滑动窗口验证，窗口里连续多个请求被判定为攻击才触发告警，也能显著降低误报的噪音。

我自己在多次拿NSL-KDD练手时，最大的教训是过早追求模型复杂度。第一次做的时候直接上了深度学习，花了一周调参，最后和LightGBM基线打平；后来才明白这个数据集的核心价值在于让你吃透特征、理解评估指标，而不是比谁的模型更“高级”。如果你也想在这条路线上再往前走，建议优先把树模型的特征重要性输出保存下来，观察哪些特征在二分类和五分类里权重差异大，这会成为你做流量特征工程的起点。希望这些经验和代码能让你少走一点弯路，跑通只是第一步，能解释模型为什么这么决策，才是别人认可你工作的关键。

本文还有配套的精品资源，点击获取