逻辑回归鸢尾花三分类实战：从数据清洗到ROC评估与LaTeX报告

简介：本资源是一份面向高校机器学习课程初学者与期末大作业需求者的完整实践项目，聚焦逻辑回归算法在经典鸢尾花数据集上的分类应用。包内含可直接运行的Python源码（含详细中文注释）、结构清晰的实验报告（含原理推导、数据预处理、模型训练与评估全过程）及配套文档说明，覆盖从理论理解到代码实现、结果分析的全链路学习路径。资源为ZIP压缩包，共192.11MB，虽文件总数未提供，但内容以.py源文件、.pdf实验报告、.md或.txt说明文档为主，分别承担算法实现、结果论证与使用指引功能。已有265人下载学习，适合零基础学生快速上手——无需复杂配置，解压即跑；亦适合作为课程设计范本，其模块化代码结构、规范化的实验记录与可视化结果呈现，显著提升作业完成质量与答辩说服力。

1. 鸢尾花分类不是练手玩具：用逻辑回归跑通完整 pipeline，从数据加载、特征缩放、模型训练到可视化评估，一份能直接交作业的机器学习大作业源码包

你可能已经用sklearn.datasets.load_iris()跑过十次 demo，但真正卡住你的从来不是“怎么调LogisticRegression()”，而是——
为什么训练集准确率 98%，测试集掉到 82%？
为什么C=1.0和C=100的决策边界看起来几乎一样，但混淆矩阵里某类召回率差了 17%？
为什么报告里要求画 ROC 曲线，而你连多分类 ROC 是什么、怎么算 AUC 都没搞清？

这份「机器学习大作业-利用逻辑回归进行鸢尾花的分类」源码包，不是那种只贴三行代码+截图的“伪完整项目”。它是一套闭环落地链：从data/目录下原始.csv文件读取（非直接load_iris），到手动实现 MinMaxScaler 归一化（附对比图），再到用OneVsRestClassifier封装逻辑回归处理三分类，最后输出带置信度热力图的预测界面 + LaTeX 排版的实验报告模板。所有代码含逐行中文注释，变量命名直白（如X_train_scaled,y_pred_proba_df），连plt.rcParams['font.sans-serif'] = ['SimHei']这种中文字体兼容细节都写死在plot_utils.py里。适合西电、山大、北航等高校《机器学习》课程设计——它不教你推导梯度下降，但教会你怎么把课本公式变成可复现、可答辩、能拿高分的交付物。

2. 从零启动：解压即运行的目录结构与环境依赖配置

2.1 源码包真实文件树与核心模块定位

解压后你会看到标准的三层结构：

iris_lr_project/ ├── data/ # 原始数据存放区（非 sklearn 内置） │ ├── iris_raw.csv # 150 行 × 4 列，无 header，含缺失值标记 '?' │ └── iris_labels.csv # 对应 150 行 class 标签（setosa/virginica/versicolor） ├── src/ # 主程序入口与模块化代码 │ ├── __init__.py │ ├── data_loader.py # 自定义加载器：处理 '?', 强制 dtype, 返回 DataFrame │ ├── preprocessor.py # MinMaxScaler 实现 + 特征重要性排序（基于系数绝对值） │ ├── model_trainer.py # LogisticRegression + OneVsRestClassifier 封装 │ ├── evaluator.py # 多分类评估：精确率/召回率/F1/宏平均/加权平均 + ROC-AUC 计算 │ └── visualizer.py # 决策边界图、混淆矩阵热力图、概率分布直方图 ├── notebooks/ # Jupyter 实验记录（含参数敏感性分析） │ └── hyperparam_tuning.ipynb ├── reports/ # 可直接提交的 Word/LaTeX 报告模板 │ ├── report_template.docx │ └── report_main.tex └── main.py # 统一入口：串联全流程，支持 --mode train/eval/visualize

提示：data/下的iris_raw.csv是关键——它模拟真实场景：字段顺序打乱（萼片宽在第 3 列）、存在 2 行缺失值（用?标记）、数值未归一化。这正是课程设计要考察的“数据清洗能力”，而非调包能力。

2.2 环境配置：Python 3.8+ 与最小依赖集

项目明确要求 Python ≥ 3.8（因使用typing.Literal注解），依赖仅 6 个包，全部来自 PyPI 官方源：

# 创建干净虚拟环境（强烈建议） python -m venv iris_env source iris_env/bin/activate # Linux/macOS # iris_env\Scripts\activate.bat # Windows # 安装最小依赖（无 tensorflow/pytorch 等冗余包） pip install numpy==1.23.5 pandas==1.5.3 scikit-learn==1.2.2 matplotlib==3.7.1 seaborn==0.12.2 jinja2==3.1.2

参数说明：

• numpy==1.23.5：避免 1.24+ 版本中np.bool_废弃导致sklearn报错；
• scikit-learn==1.2.2：该版本OneVsRestClassifier的decision_function输出格式稳定，适配 ROC 计算；
• jinja2==3.1.2：用于动态渲染 LaTeX 报告中的模型参数表格（reports/report_main.tex中的{% for param in model_params %}循环）。

2.3 一键运行全流程：main.py的三种模式详解

main.py支持命令行参数驱动，无需修改代码即可切换任务：

# 模式 1：全链路训练+评估（默认） python main.py --mode train # 模式 2：仅加载已训练模型做预测（用于答辩演示） python main.py --mode eval --model_path "models/lr_model.joblib" # 模式 3：生成所有可视化图表（存入 outputs/figures/） python main.py --mode visualize --data_split_ratio 0.7

核心逻辑在src/main_pipeline.py中封装为函数：

def run_full_pipeline( data_dir: str = "data/", model_save_path: str = "models/lr_model.joblib", output_dir: str = "outputs/", test_size: float = 0.3, random_state: int = 42, C: float = 1.0, # 正则化强度，关键调参点 max_iter: int = 1000 # 防止收敛失败，默认足够 ) -> Dict[str, Any]: """执行完整 pipeline 并返回评估指标字典""" # 1. 数据加载与清洗 X, y = load_and_clean_data(data_dir) # 调用 data_loader.py # 2. 划分 + 归一化（注意：仅对 X_train 缩放，X_test 用相同 scaler transform） X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=test_size, random_state=random_state, stratify=y ) scaler = MinMaxScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 关键：不用 fit！ # 3. 模型训练（OneVsRest 封装） lr_ovr = OneVsRestClassifier( LogisticRegression(C=C, max_iter=max_iter, random_state=random_state) ) lr_ovr.fit(X_train_scaled, y_train) # 4. 保存模型与 scaler（必须一起保存！） joblib.dump(lr_ovr, model_save_path) joblib.dump(scaler, model_save_path.replace(".joblib", "_scaler.joblib")) # 5. 评估并返回指标 return evaluate_model(lr_ovr, X_test_scaled, y_test, output_dir)

逻辑说明：

• stratify=y保证三类样本在训练/测试集中比例一致（各 50:50），避免某类被完全切到测试集导致评估失真；
• scaler.transform(X_test)而非fit_transform()是硬性规范——测试集必须用训练集统计量（min/max）缩放，否则引入数据泄露；
• joblib.dump同时保存模型和 scaler，因为预测时需先缩放再推理，缺一不可。

3. 逻辑回归三分类实战：从二分类原理到 OneVsRest 封装细节

3.1 为什么不用 softmax？理解 OneVsRest 的工程必要性

教科书常讲逻辑回归是二分类，但sklearn的LogisticRegression默认支持multi_class='ovr'（One-vs-Rest）。本项目显式使用OneVsRestClassifier封装，原因有三：

1. 可控性：OneVsRestClassifier允许为每个二分类器单独设置C（正则化参数），而LogisticRegression(multi_class='ovr')的C是全局统一的；
2. 可解释性：能分别获取setosa vs others、versicolor vs others、virginica vs others三个独立的决策函数值，用于绘制 ROC 曲线；
3. 兼容性：当后续替换为 SVM 或其他二分类器时，只需改一行base_estimator，无需重写整个流程。

# src/model_trainer.py 中的关键封装 from sklearn.multiclass import OneVsRestClassifier from sklearn.linear_model import LogisticRegression def build_multiclass_lr(C: float = 1.0, random_state: int = 42): """构建 OvR 封装的逻辑回归，返回可 pickle 的 estimator""" base_lr = LogisticRegression( C=C, penalty='l2', # L2 正则，防止过拟合 solver='lbfgs', # 支持多分类的优化器 max_iter=1000, random_state=random_state, n_jobs=1 # 避免多进程在 notebook 中报错 ) return OneVsRestClassifier(base_lr, n_jobs=1)

参数说明：

• penalty='l2'：L2 正则化，对应损失函数中的λ||w||²，C=1/λ，C越小正则越强；
• solver='lbfgs'：BFGS 变种，对中小数据集（n_samples < 10000）收敛快且稳定，比'liblinear'更适合多分类；
• n_jobs=1：显式禁用多线程，避免在 Jupyter 中因 fork 导致BrokenPipeError。

3.2 决策边界可视化：用meshgrid手动绘制三类分割面

src/visualizer.py中的plot_decision_boundary()函数不依赖mlxtend，纯用matplotlib实现：

def plot_decision_boundary( model: OneVsRestClassifier, X: np.ndarray, y: np.ndarray, feature_indices: Tuple[int, int] = (0, 1), # 选萼片长/宽作为绘图轴 resolution: int = 100, title: str = "Decision Boundary" ): # 1. 提取指定两维特征（降维可视化） X_2d = X[:, feature_indices] # 2. 构建网格（覆盖特征范围） x_min, x_max = X_2d[:, 0].min() - 0.1, X_2d[:, 0].max() + 0.1 y_min, y_max = X_2d[:, 1].min() - 0.1, X_2d[:, 1].max() + 0.1 xx, yy = np.meshgrid( np.linspace(x_min, x_max, resolution), np.linspace(y_min, y_max, resolution) ) # 3. 在网格点上预测（需先缩放！） grid_points = np.c_[xx.ravel(), yy.ravel()] # 注意：此处需用训练时的 scaler 对 grid_points 缩放 scaler = joblib.load("models/lr_model_scaler.joblib") grid_scaled = scaler.transform(grid_points) # 关键：必须缩放！ # 4. 获取预测类别（OvR 返回整数标签） Z = model.predict(grid_scaled).reshape(xx.shape) # 5. 绘图 plt.figure(figsize=(10, 8)) plt.contourf(xx, yy, Z, alpha=0.3, cmap=plt.cm.RdYlBu) scatter = plt.scatter(X_2d[:, 0], X_2d[:, 1], c=y, cmap=plt.cm.RdYlBu, edgecolors='k', s=60) plt.xlabel(f"Feature {feature_indices[0]} (e.g., sepal length)") plt.ylabel(f"Feature {feature_indices[1]} (e.g., sepal width)") plt.title(title) plt.colorbar(scatter) plt.savefig("outputs/figures/decision_boundary.png", dpi=300, bbox_inches='tight')

逻辑说明：

• grid_points是二维网格坐标，np.c_[]将其转为(N, 2)形状供模型输入；
• scaler.transform(grid_points)是易错点：若忘记缩放，网格点会落在训练数据范围外，导致预测全为同一类；
• Z.reshape(xx.shape)将一维预测结果还原为二维网格，供contourf填色。

3.3 多分类 ROC 曲线：用label_binarize构造 one-hot 标签

sklearn.metrics.roc_curve仅支持二分类，三分类需手动转换。src/evaluator.py中的compute_multiclass_roc()函数采用label_binarize：

from sklearn.preprocessing import label_binarize from sklearn.metrics import roc_curve, auc def compute_multiclass_roc( y_true: np.ndarray, y_score: np.ndarray, # decision_function 输出，shape=(n_samples, n_classes) n_classes: int = 3 ) -> Dict[str, Any]: """计算三分类 ROC 曲线与 AUC""" # 1. 将 y_true 转为 one-hot（shape: n_samples × n_classes） y_true_bin = label_binarize(y_true, classes=np.arange(n_classes)) # 2. 为每个类别计算 ROC fpr = dict() tpr = dict() roc_auc = dict() for i in range(n_classes): fpr[i], tpr[i], _ = roc_curve(y_true_bin[:, i], y_score[:, i]) roc_auc[i] = auc(fpr[i], tpr[i]) # 3. 计算宏平均 ROC（micro-average 不适用，因类别平衡） # 宏平均：对每个类别的 FPR/TPR 插值后平均 all_fpr = np.unique(np.concatenate([fpr[i] for i in range(n_classes)])) mean_tpr = np.zeros_like(all_fpr) for i in range(n_classes): mean_tpr += np.interp(all_fpr, fpr[i], tpr[i]) mean_tpr /= n_classes roc_auc["macro"] = auc(all_fpr, mean_tpr) return {"fpr": fpr, "tpr": tpr, "roc_auc": roc_auc, "all_fpr": all_fpr, "mean_tpr": mean_tpr}

参数说明：

• y_score必须是decision_function输出（非predict_proba），因 ROC 基于决策阈值；
• label_binarize生成[[1,0,0], [0,1,0], [0,0,1]]形式标签，使roc_curve能按列计算；
• 宏平均（macro-average）适用于本项目——三类样本数相等（各 50），无需加权。

4. 避坑指南：逻辑回归在鸢尾花任务上的 5 个血泪经验

4.1 现象：训练集准确率 100%，测试集仅 72%，模型明显过拟合

原因：C参数过大（如C=1000）导致正则化失效，模型在训练集上过度拟合噪声。鸢尾花数据虽简单，但原始iris_raw.csv含缺失值和量纲差异，C过大会放大特征缩放误差。
解决：将C从1000降至0.1~1.0区间，配合MinMaxScaler使用。本项目默认C=1.0，经网格搜索验证在此值下测试集 F1 达 0.96。

4.2 现象：predict_proba()输出概率和不为 1，且最大概率常低于 0.6

原因：LogisticRegression默认multi_class='ovr'时，predict_proba()返回的是校准后的 Platt scaling 概率，非严格 softmax。三分类下，OvR 概率无理论和约束。
解决：改用decision_function()获取原始分值，再通过expit()（sigmoid）手动计算二分类概率，或直接使用OneVsRestClassifier的predict()。本项目报告中明确标注：“概率值仅供参考，最终分类以predict()结果为准”。

4.3 现象：plot_decision_boundary()报错ValueError: Expected 2D array, got 1D array instead

原因：传入scaler.transform()的grid_points是(N,)一维数组，未 reshape 为(N, 2)。常见于复制粘贴代码时漏掉np.c_[xx.ravel(), yy.ravel()]。
解决：严格检查grid_points形状，添加断言：

assert grid_points.ndim == 2 and grid_points.shape[1] == 2, \ f"grid_points shape {grid_points.shape} invalid, expect (N, 2)"

4.4 现象：LaTeX 报告编译失败，报错! Undefined control sequence. \texttt{C}

原因：report_main.tex中的C参数未用\texttt{}包裹，在 LaTeX 数学模式下被解析为变量。
解决：在src/report_generator.py的 Jinja2 模板中，将参数渲染改为：

Regularization parameter $C = \texttt{ {{ params.C }} }$

4.5 现象：main.py --mode eval加载模型后预测全为setosa

原因：joblib.load()加载的 scaler 与模型不匹配——训练时保存了 scaler，但eval模式未同步加载 scaler，导致X_test未缩放直接输入模型。
解决：main.py中eval模式强制加载 scaler：

if args.mode == "eval": model = joblib.load(args.model_path) scaler = joblib.load(args.model_path.replace(".joblib", "_scaler.joblib")) # 关键补丁 X_test_scaled = scaler.transform(X_test) # 必须缩放！ y_pred = model.predict(X_test_scaled)

5. 实验报告生成：从 raw data 到 LaTeX 排版的自动化流水线

5.1 报告内容自动生成逻辑：Jinja2 模板驱动

reports/report_main.tex是一个 Jinja2 模板，通过src/report_generator.py动态填充：

# src/report_generator.py from jinja2 import Environment, FileSystemLoader import json def generate_report( metrics: Dict[str, float], # evaluate_model() 返回的指标 model_params: Dict[str, Any], # LogisticRegression 的 get_params() feature_names: List[str], # ['sepal_length', 'sepal_width', ...] output_path: str = "reports/final_report.pdf" ): env = Environment(loader=FileSystemLoader("reports/")) template = env.get_template("report_main.tex") # 构建上下文 context = { "timestamp": datetime.now().strftime("%Y-%m-%d %H:%M"), "metrics": metrics, # 如 {"accuracy": 0.96, "macro_f1": 0.958} "model_params": model_params, # {"C": 1.0, "penalty": "l2", ...} "feature_importance": calculate_feature_importance(model_params, feature_names), "figures": ["decision_boundary.png", "confusion_matrix.png", "roc_curve.png"] } # 渲染并保存 .tex rendered_tex = template.render(context) with open("reports/generated_report.tex", "w", encoding="utf-8") as f: f.write(rendered_tex) # 调用系统 pdflatex 编译（需本地安装 TeX Live） subprocess.run(["pdflatex", "-output-directory=reports", "reports/generated_report.tex"])

逻辑说明：

• calculate_feature_importance()基于LogisticRegression.coef_的 L1 范数排序，体现各特征对分类的贡献度；
• figures列表控制插入哪些图，visualizer.py生成的图均存于outputs/figures/，路径硬编码在模板中。

5.2 LaTeX 模板关键片段：数学公式与表格自动渲染

reports/report_main.tex中的模型参数表格与公式：

% 模型参数表格 \begin{tabular}{ll} \toprule \textbf{Parameter} & \textbf{Value} \\ \midrule Regularization parameter $C$ & \texttt{ {{ model_params.C }} } \\ Penalty type & \texttt{ {{ model_params.penalty }} } \\ Solver & \texttt{ {{ model_params.solver }} } \\ Maximum iterations & {{ model_params.max_iter }} \\ \bottomrule \end{tabular} % 逻辑回归损失函数（L2 正则化） The objective function minimized is: \[ \min_{w, c} \frac{1}{2} w^T w + C \sum_{i=1}^{n} \log(1 + \exp(- y_i (X_i^T w + c))) \] where $w$ is the weight vector, $c$ is the intercept, and $y_i \in \{-1, 1\}$.

参数说明：

• {{ model_params.C }}等变量由 Python 字典注入，确保报告与实际运行参数完全一致；
• 公式中C与代码中C含义严格对应，避免学生写报告时混淆“正则化强度”与“惩罚系数”。

5.3 中文支持终极方案：ctex宏包 + SimSun 字体嵌入

为解决 Windows/Linux/macOS 下中文字体不一致问题，模板强制使用ctex：

\documentclass[UTF8]{ctexart} \ctexset{ section = {name = {第,章}, number = \arabic{section}}, subsection = {name = {、,}} } \usepackage{xeCJK} \setmainfont{SimSun} % Windows 宋体 \setsansfont{SimHei} % 黑体 \setmonofont{Courier New} \setCJKmainfont{SimSun} \setCJKsansfont{SimHei} \setCJKmonofont{Courier New}

避坑提示：若本地无 SimSun，pdflatex会 fallback 到 Latin 字体导致中文乱码。解决方案：

1. Linux 用户安装fonts-wqy-zenhei；
2. macOS 用户用brew install --cask font-simhei；
3. 或直接替换为开源字体Noto Sans CJK SC（模板中已预留注释开关）。

6. 高阶技巧：用shap解释逻辑回归的决策依据，让答辩更有说服力

6.1 为什么需要 SHAP？逻辑回归不是线性模型吗？

是的，逻辑回归是线性模型，但“线性”指决策边界在特征空间中是超平面，不等于特征贡献可直接由系数解读。原因有二：

• 特征量纲不同（萼片长单位 cm，花瓣宽单位 mm），系数绝对值不能直接比大小；
• OneVsRestClassifier为每个类训练独立权重向量，coef_[0]对应setosa vs others，coef_[1]对应versicolor vs others，跨类比较无意义。

SHAP（SHapley Additive exPlanations）通过博弈论方法，为每个样本的每个特征分配一个“贡献值”，满足局部准确性、缺失性、一致性三大公理，结果可加和且可比。

6.2 集成 SHAP 到现有 pipeline：三行代码添加解释能力

src/explainer.py封装了 SHAP 解释器，兼容OneVsRestClassifier：

import shap def explain_prediction( model: OneVsRestClassifier, X_train: np.ndarray, X_test: np.ndarray, feature_names: List[str], sample_idx: int = 0 ) -> None: """为单个测试样本生成 SHAP 解释图""" # 1. 创建 Explainer（使用 KernelExplainer 适配 OvR） # 注意：需传入原始模型（非 OvR 封装），故取 base_estimator base_model = model.estimators_[0] # 取第一个二分类器（setosa vs others） explainer = shap.KernelExplainer( lambda x: base_model.decision_function(x), # 决策函数 shap.sample(X_train, 50) # 用训练集子样本来估计背景分布 ) # 2. 计算 SHAP 值 shap_values = explainer.shap_values(X_test[sample_idx:sample_idx+1]) # 3. 绘图（保存至 outputs/shap/） shap.initjs() plt.figure(figsize=(10, 6)) shap.plots.waterfall( shap.Explanation( values=shap_values[0], # 第一个类的 SHAP 值 base_values=explainer.expected_value[0], data=X_test[sample_idx], feature_names=feature_names ), show=False ) plt.savefig(f"outputs/shap/waterfall_sample_{sample_idx}.png", dpi=300, bbox_inches='tight')

逻辑说明：

• KernelExplainer适用于任意黑盒模型，lambda x: base_model.decision_function(x)将预测函数包装为可调用对象；
• shap.sample(X_train, 50)采样 50 个训练样本作为背景数据，减少计算量；
• waterfall图直观显示：该样本被分类为setosa的依据是petal_length贡献 +1.2，sepal_width贡献 -0.3，最终得分 2.1 > 0。

6.3 答辩现场演示技巧：用shap.force_plot生成交互式 HTML

main.py新增--explain参数，一键生成可交互解释：

python main.py --mode explain --sample_idx 12 --feature_names "sepal_length,sepal_width,petal_length,petal_width"

生成outputs/shap/force_plot.html，用浏览器打开后：

• 拖动特征条形图，实时观察预测分数变化；
• 点击“+”展开每个特征的贡献值；
• 导出 PNG 截图插入答辩 PPT。

血泪经验：答辩时别只说“系数最大的是 petal_length”，要展示“对于这个具体样本（编号 12），petal_length=5.1cm 使其被判定为 virginica 的可能性增加了 0.82 分，而 sepal_width=2.8cm 抵消了 0.15 分”。这才是教授想听的“模型可解释性”。

从那以后我每次准备课程设计答辩，都会强制走一遍python main.py --mode explain --sample_idx 0，把前 3 个测试样本的 SHAP 图都导出来，挑一个最能讲故事的放进 PPT。不是为了炫技，而是让评委相信：你真的懂这个模型在“想”什么，而不是只会 copy-paste。希望帮到你。

本文还有配套的精品资源，点击获取