news 2026/5/27 2:02:19

数据同步利器 Kettle:Windows 安装配置及基础使用详解

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
数据同步利器 Kettle:Windows 安装配置及基础使用详解

Kettle 是一款开源、免费的 ETL 数据集成工具,广泛应用于数据抽取、转换、加载、跨库数据同步等场景。本文详细讲解 Windows环境下 Kettle 的安装步骤、环境配置,并搭配入门案例演示基础使用方法,零基础也能快速上手。

一、工具简介

1、什么是kettle

Kettle(现更名为Pentaho Data Integration,简称 PDI)是开源的 ETL(Extract-Transform-Load)工具,纯 Java 开发,跨平台、无代码可视化操作,支持数据抽取、清洗、转换、加载、定时任务、跨数据库同步等功能,是大数据、数仓开发、运维人员常用的数据集成工具。

前置要求:Kettle 基于 Java 运行,必须先安装 JDK 8 及以上版本,并配置好 Java 环境变量。

2、Kettle工程存储方式

(1)以XML形式存储

(2)以资源库方式存储(数据库资源库和文件资源库)

3、Kettle的两种设计

4、Kettle的组成

5、kettle特点

二、kettle安装

kettle官网

https://community.hitachivantara.com/home

下载kettle压缩包,因kettle为绿色软件,解压缩到任意本地路径即可

双击Spoon.bat,启动图形化界面工具,就可以直接使用了

右键编辑,可以修改编码为UTF-8

启动后页面

三、kettle简单使用

1、将txt数据导⼊到excel 中

选择 【转换】--> 【新建】,拖拽 【⽂本⽂件输⼊】和 【Excel输出】,摁住shift键,拖拽连接两者。

双击 【文本文件输入】

添加完文件后,点击内容,修改分隔符,以及编码方式

点击获取字段

双击Excel,输出文件不用加后缀

点击字段,获取字段。没有添加格式,最后输出数据会有问题

输入格式前:

输入格式后

2、Excel文件到mysql数据库

双击Excel

找出需要传递的Excel表数据

浏览数据发现有问题,需要修改格式

连接数据库

测试连接发现驱动有问题

需要在lib文件下安装驱动

再次测试发现时区有问题

解决方法:

连接上以后

获取字段后点击sql,里面的类型不是很规范,转为mysql需要的建表语句

修改以后执行

3、Mysql到Mysql

双击表输入

是: 每一个字段都写出来

否: 只写一个*

双击表输出

上述会出现 执行多次,会将重复内容一直加进去的问题

因此用 表输入 到 插入/更新更好

这样子,重复执行也不会有有重复的数据,只有当原来的表有数据改变时才会改变。

比如添加一条数据,会添加,修改了哪条数据会修改

4、Mysql到hive

需要提前添加hive的jar包

输出hive类型

会报错误 类型不一致导致的。

修改表输入查询的语句

修改完后执行,hive中就有数据了

四、总结 & 后续学习方向

  1. 本文完成了 Kettle 在 Windows平台的安装、环境排错,以及最基础的转换实战,新手可快速入门。
  2. Kettle 核心学习路线:
    • 基础:转换、作业、各类输入 / 输出组件、数据库连接
    • 进阶:数据清洗、联表查询、增量同步、定时调度、集群部署
    • 实战:跨库数据迁移、数仓数据同步、日志采集等业务场景

Kettle 作为轻量化开源 ETL 工具,上手简单、功能强大,是数据开发必备工具之一,建议多动手练习各类组件,逐步掌握复杂数据同步场景。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/27 2:01:25

一个入口搞定 Claude/Grok,技术难题全拿捏

平时不管是打工人、程序员还是学生党,用 AI 解决问题时总免不了糟心事儿:写代码要切 ChatGPT,处理长文档得找 Claude,想做创意生成又得换 Gemini,来回切换窗口、重复登录账号,光是折腾平台就要耗掉半小时&a…

作者头像 李华
网站建设 2026/5/27 2:00:10

鸿蒙 PC 开发:传统前端经验为什么会失效?

网罗开发(小红书、快手、视频号同名)大家好,我是 展菲,目前在上市企业从事人工智能项目研发管理工作,平时热衷于分享各种编程领域的软硬技能知识以及前沿技术,包括iOS、前端、Harmony OS、Java、Python等方…

作者头像 李华
网站建设 2026/5/27 1:58:58

【Lovable写作助手开发避坑白皮书】:基于17个真实项目复盘,揭示API延迟超标、上下文丢失、风格漂移的根因与修复公式

更多请点击: https://kaifayun.com 第一章:Lovable写作助手开发避坑白皮书导论 Lovable写作助手是一款面向技术创作者的智能内容协同工具,其核心目标是提升高质量技术文档的产出效率与可维护性。在实际开发过程中,团队发现大量重…

作者头像 李华
网站建设 2026/5/27 1:49:04

让AI助手从翻车到carry的实战指南

你有没有过这种体验?兴冲冲用上 Claude Code、Codex 这些 AI 编程助手,想着终于能解放双手,让它帮我改 bug、做功能,结果发现 —— 这哪是帮手,分明是个添乱的!让它改个小问题,它改完给你搞出一…

作者头像 李华