news 2026/2/12 4:35:29

DAY27 pipeline管道

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DAY27 pipeline管道

一、知识回顾:

1、转化器和估计器的概念

(1)转换器

转化器通俗的来说就是对数据进行预处理的工具,转换器的特点是无状态的,即它们不会存储任何关于数据的状态信息(指的是不存储内参),根据输入数据学习转换规则(比如函数规律、外参),并将其应用于新的数据。

代码示例:

from sklearn.preprocessing import StandardScaler # 初始化转换器 scaler = StandardScaler() # 1. 学习训练数据的缩放规则(计算均值和标准差),本身不存储数据 scaler.fit(X_train) # 2. 应用规则到训练数据和测试数据 X_train_scaled = scaler.transform(X_train)

(2)估计器

估计器是实现机器学习算法的对象或类。估计器的主要方法是fit和predict。fit方法用于根据输入数据,学习模型的参数和规律,而predict方法用于对新的未标记样本进行预测。估计器的特点是有状态的,它们在训练过程中存储了关于数据的状态信息,以便在预测阶段使用。

参考代码:

from sklearn.linear_model import LinearRegression # 创建一个回归器 model = LinearRegression() # 在训练集上训练模型 model.fit(X_train_scaled, y_train) # 对测试集进行预测 y_pred = model.predict(X_test_scaled)

2、管道工程

机器学习的管道机制通过将多个转换器和估计器按顺序连接在一起,可以构建一个完整的数据处理和模型训练流程。具体而言,在管道机制中,可以使用Pipeline类来组织和连接不同的转换器和估计器。Pipeline类提供了一种简单的方式来定义和管理机器学习任务的流程。

二、pipeline管道架构的搭建

1、导入基础库、 Pipeline 和相关预处理工具、机器学习模型和评估工具,并加载原始数据。

2、分离特征和标签,划分数据集

3、定义预处理步骤

(1)识别原始的 object 列

非数值型->离散变量:

(2)构建处理有序特征的 Pipeline:先填充缺失值,再进行有序编码

(3)构建处理标称特征的 Pipeline:先填充缺失值,再进行独热编码

连续性数值

(4)直接从所有列中排除已知的有序和标称特征,构建处理连续特征的 Pipeline: 先填充缺失值,再进行标准化。

(5)基于以上形成的三种Pipeline构建 ColumnTransformer,将不同的预处理应用于不同的列子集,构造一个完备的转化器。

(6)构建完整的 Pipeline,将预处理器和模型串联起来(加入估计器

(7)使用 Pipeline 对模型进行训练和评估。

@浙大疏锦行

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/5 17:27:59

Digimat + Abaqus:编织复合材料分析的奇妙之旅

Digimat+abaqus编织复合材料分析 Digimat编织复合材料建模,网格划分,周期性边界条件 abaqus编织复合材料仿真分析在材料科学与工程领域,编织复合材料因其独特的性能备受关注。而借助 Digimat 和 Abaqus 这两款强大的工具&#xff…

作者头像 李华
网站建设 2026/2/7 17:05:35

臭双非的技术学习之旅——光线步进体积光篇

基于光线步进的体积光 2025年4月16日12:59:42 体积光是在体积云的基础上完成的。 首先我们要解决一个问题,我的光的颜色是怎么出来的? 回顾一下体积云,体积云的颜色,是射线上的float叠加出来的,那么体积光也是这样&…

作者头像 李华
网站建设 2026/2/6 4:15:00

利用 RPA 实现企业微信外部群的定时群发功能

利用 RPA(机器人流程自动化)实现企业微信外部群的定时群发功能,是一种有效的技术手段,它能突破官方 API 在主动消息推送方面的限制,确保您的运营内容在预定时间准确触达目标群组。 这个功能的实现主要依赖于两个核心组…

作者头像 李华
网站建设 2026/2/6 16:25:53

基于COMSOL的变压器流固耦合与振动噪声分析探索

基于COMSOL多物理场耦合仿真的变压器流固耦合及振动噪声分析 变压器流固耦合仿真,变压器振动噪声耦合仿真,提供能够有效运行的几何构造划分及仿真在电力系统中,变压器的性能至关重要,而流固耦合以及振动噪声问题直接影响着其运行的…

作者头像 李华