news 2026/9/26 4:19:43

Python打卡第26天

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Python打卡第26天

@浙大疏锦行

001

002

003

004

005

006

007

008

009

010

011

012

013

014

015

016

017

018

019

020

021

022

023

024

025

026

027

028

029

030

031

032

033

034

035

036

037

038

039

040

041

042

043

044

045

046

047

048

049

050

051

052

053

054

055

056

057

058

059

060

061

062

063

064

065

066

067

068

069

070

071

072

073

074

075

076

077

078

079

080

081

082

083

084

085

086

087

088

089

090

091

092

093

094

095

096

097

098

099

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

importpandas as pd

importnumpy as np

importmatplotlib.pyplot as plt

importseaborn as sns

importtime# 导入 time 库

importwarnings

warnings.filterwarnings("ignore")

plt.rcParams['font.sans-serif']=['SimHei']

plt.rcParams['axes.unicode_minus']=False# 防止负号显示问题

# 导入 Pipeline 和相关预处理工具

fromsklearn.pipelineimportPipeline# 用于创建机器学习工作流

fromsklearn.composeimportColumnTransformer# 用于将不同的预处理应用于不同的列,之前是对datafame的某一列手动处理,如果在pipeline中直接用standardScaler等函数就会对所有列处理,所以要用到这个工具

fromsklearn.preprocessingimportOrdinalEncoder, OneHotEncoder, StandardScaler# 用于数据预处理

fromsklearn.imputeimportSimpleImputer# 用于处理缺失值

# 机器学习相关库

fromsklearn.ensembleimportRandomForestClassifier

fromsklearn.metricsimportclassification_report, confusion_matrix, accuracy_score, precision_score, recall_score, f1_score

fromsklearn.model_selectionimporttrain_test_split# 只导入 train_test_split

# --- 加载原始数据 ---

data=pd.read_csv('D:\Desktop\Postgraduate\PythonStudy\Python打卡训练营\Python打卡训练营\python60-days-challenge-master\data.csv')

# Pipeline 将直接处理分割后的原始数据 X_train, X_test

# 原手动预处理步骤 (将被Pipeline替代):

# Home Ownership 标签编码

# Years in current job 标签编码

# Purpose 独热编码

# Term 0 - 1 映射并重命名

# 连续特征用众数补全

# --- 分离特征和标签 (使用原始数据) ---

y=data['Credit Default']

X=data.drop(['Credit Default'], axis=1)

# --- 划分训练集和测试集 (在任何预处理之前划分) ---

# X_train 和 X_test 现在是原始数据中划分出来的部分,不包含你之前的任何手动预处理结果

X_train, X_test, y_train, y_test=train_test_split(X, y, test_size=0.2, random_state=42)

# --- 定义不同列的类型和它们对应的预处理步骤 (这些将被放入 Pipeline 的 ColumnTransformer 中) ---

# 这些定义是基于原始数据 X 的列类型来确定的

# 识别原始的 object 列 (对应你原代码中的 discrete_features 在预处理前)

object_cols=X.select_dtypes(include=['object']).columns.tolist()

# 有序分类特征 (对应你之前的标签编码)

# 注意:OrdinalEncoder默认编码为0, 1, 2... 对应你之前的1, 2, 3...需要在模型解释时注意

# 这里的类别顺序需要和你之前映射的顺序一致

ordinal_features=['Home Ownership','Years in current job','Term']

# 定义每个有序特征的类别顺序,这个顺序决定了编码后的数值大小

ordinal_categories=[

['Own Home','Rent','Have Mortgage','Home Mortgage'],# Home Ownership 的顺序 (对应1, 2, 3, 4)

['< 1 year','1 year','2 years','3 years','4 years','5 years','6 years','7 years','8 years','9 years','10+ years'],# Years in current job 的顺序 (对应1-11)

['Short Term','Long Term']# Term 的顺序 (对应0, 1)

]

# 先用众数填充分类特征的缺失值,然后进行有序编码

ordinal_transformer=Pipeline(steps=[

('imputer', SimpleImputer(strategy='most_frequent')),# 用众数填充分类特征的缺失值

('encoder', OrdinalEncoder(categories=ordinal_categories, handle_unknown='use_encoded_value', unknown_value=-1))

])

# 分类特征

nominal_features=['Purpose']# 使用原始列名

# 先用众数填充分类特征的缺失值,然后进行独热编码

nominal_transformer=Pipeline(steps=[

('imputer', SimpleImputer(strategy='most_frequent')),# 用众数填充分类特征的缺失值

('onehot', OneHotEncoder(handle_unknown='ignore', sparse_output=False))# sparse_output=False 使输出为密集数组

])

# 连续特征

# 从X的列中排除掉分类特征,得到连续特征列表

continuous_features=X.columns.difference(object_cols).tolist()# 原始X中非object类型的列

# 先用众数填充缺失值,然后进行标准化

continuous_transformer=Pipeline(steps=[

('imputer', SimpleImputer(strategy='most_frequent')),# 用众数填充缺失值 (复现你的原始逻辑)

('scaler', StandardScaler())# 标准化,一个好的实践

])

# --- 构建 ColumnTransformer ---

# 将不同的预处理应用于不同的列子集,构造一个完备的转化器

preprocessor=ColumnTransformer(

transformers=[

('ordinal', ordinal_transformer, ordinal_features),

('nominal', nominal_transformer, nominal_features),

('continuous', continuous_transformer, continuous_features)

],

remainder='passthrough'# 保留没有在transformers中指定的列(如果存在的话),或者 'drop' 丢弃

)

# --- 构建完整的 Pipeline ---

# 将预处理器和模型串联起来

# 使用你原代码中 RandomForestClassifier 的默认参数和 random_state,这里的参数用到了元组这个数据结构

pipeline=Pipeline(steps=[

('preprocessor', preprocessor),# 第一步:应用所有的预处理 (ColumnTransformer)

('classifier', RandomForestClassifier(random_state=42))# 第二步:随机森林分类器

])

# --- 1. 使用 Pipeline 在划分好的训练集和测试集上评估 ---

print("--- 1. 默认参数随机森林 (训练集 -> 测试集) ---")

start_time=time.time()# 记录开始时间

# 在原始的 X_train 上拟合整个Pipeline

# Pipeline会自动按顺序执行preprocessor的fit_transform(X_train),然后用处理后的数据拟合classifier

pipeline.fit(X_train, y_train)

# 在原始的 X_test 上进行预测

# Pipeline会自动按顺序执行preprocessor的transform(X_test),然后用处理后的数据进行预测

pipeline_pred=pipeline.predict(X_test)

end_time=time.time()# 记录结束时间

print(f"训练与预测耗时: {end_time - start_time:.4f} 秒")# 使用你原代码的输出格式

print("\n默认随机森林 在测试集上的分类报告:")# 使用你原代码的输出文本

print(classification_report(y_test, pipeline_pred))

print("默认随机森林 在测试集上的混淆矩阵:")# 使用你原代码的输出文本

print(confusion_matrix(y_test, pipeline_pred))

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/26 4:19:43

Codex和ChatGPT在图像生成能力上有什么区别?

Codex 加上图像生成以后&#xff0c;这两个东西确实越来越容易让人搞混。因为表面上看&#xff0c;现在都是输入一句话&#xff0c;然后让 AI 给你生成图片&#xff0c;甚至已有图片也都可以继续改。OpenAI 目前的官方说明里也明确写了&#xff0c;ChatGPT 可以创建、编辑图片&…

作者头像 李华
网站建设 2026/9/26 4:19:11

Work Agent深度解读:AI长程任务的技术机制与落地边界

AI从“聊天”到“干活”&#xff0c;中间发生了什么。早期大模型的应用形态停留在单轮问答&#xff0c;用户抛出问题&#xff0c;模型一次性返回一段文字&#xff0c;交互链路短&#xff0c;没有记忆延续性。随着模型能力迭代&#xff0c;多轮对话开始普及&#xff0c;模型可以…

作者头像 李华
网站建设 2026/9/26 4:19:08

Jev可视化图片分类

用 Cloudflare Workers AI Jev 做一个可视化图片分类传送带 项目地址&#xff1a;Jev Sense 技术栈&#xff1a;Node.js 20、原生 JavaScript、Cloudflare Workers AI、Jev&#xff08;System One&#xff09; 最近做了一个图片分类小项目&#xff1a;把图片放上传送带&#x…

作者头像 李华
网站建设 2026/9/26 4:19:05

7MB轻量神器File2MD:本地OCR识别,将PDF/扫描件一键转为Markdown

有一类工具属于那种“没碰到之前觉得无所谓&#xff0c;碰到一次就再也回不去”的类型。File2MD对我来说就是这一种——一个只有7兆左右的轻量化文档转Markdown工具&#xff0c;内置OCR识别能力&#xff0c;官方宣称精度达到98%&#xff0c;能把docx、PDF、扫描件图片等常见格式…

作者头像 李华
网站建设 2026/9/26 4:18:14

重庆别墅全案软装案例:布芭软装进口窗帘+手工地毯,附年度优选清单

重庆别墅全案软装&#xff0c;从行业基础认知到落地选型指南提到别墅软装&#xff0c;很多业主的第一印象还是买几件进口家具、挂两幅画&#xff0c;其实经过二十余年行业发展&#xff0c;全案软装已经从单纯的单品选配&#xff0c;升级为从空间结构规划、风格统一搭配到落地交…

作者头像 李华