news 2026/2/12 14:34:52

Flink SQL 的 JAR 语句ADD JAR / SHOW JARS / REMOVE JAR(SQL CLI 实战 + 避坑指南)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Flink SQL 的 JAR 语句ADD JAR / SHOW JARS / REMOVE JAR(SQL CLI 实战 + 避坑指南)

1. JAR 语句是干什么的?

官方定义:

JAR 语句用于在运行时把用户 jar 加入 classpath、从 classpath 移除,或查看已经添加的 jar。

它们主要面向SQL CLI的交互式会话使用。

2. SQL CLI 示例:三连击(ADD → SHOW → REMOVE)

2.1 添加本地 jar

FlinkSQL>ADDJAR'/path/hello.jar';[INFO]Executestatement succeeded.

2.2 添加远程 jar(例如 HDFS)

FlinkSQL>ADDJAR'hdfs:///udf/common-udf.jar';[INFO]Executestatement succeeded.

2.3 查看已添加 jar

FlinkSQL>SHOWJARS;+----------------------------+|jars|+----------------------------+|/path/hello.jar||hdfs:///udf/common-udf.jar |+----------------------------+

2.4 移除 jar

FlinkSQL>REMOVE JAR'/path/hello.jar';[INFO]The specified jarisremovedfromsessionclassloader.

3. ADD JAR:语法与能力

3.1 语法

ADDJAR'<path_to_filename>.jar'

3.2 能力说明

  • 将指定 jar 加入资源列表(会话 classpath)
  • 支持本地文件系统远程文件系统路径
  • 加完后可通过SHOW JARS查看

4. 重要限制:不要用 ADD JAR 去加载 Hive 相关(避坑必读)

官方限制(非常关键):

不要使用ADD JAR来加载 Hive source/sink/function/catalog。
这是 Hive connector 的已知限制,未来版本会修复。当前推荐按官方 Hive 集成指引进行 Hive 集成。

这句话的含义是:
即便你把 Hive 相关依赖 jar “塞进” classpath,也可能出现各种奇怪问题(类冲突、发现不到、行为不一致等)。Hive 集成通常要走更“规范”的方式(例如按官方集成步骤配置 Hive 相关依赖与模块/目录结构)。

5. SHOW JARS:查看当前会话 jar 列表

5.1 语法

SHOWJARS

5.2 作用

列出所有通过ADD JAR添加的 jar。

适用场景:

  • 确认 jar 是否加成功(路径是否正确)
  • 排查“类找不到 / UDF 找不到”时确认环境
  • 会话复用时确认是否被别人加过 jar(避免污染)

6. REMOVE JAR:移除指定 jar(仅 SQL CLI)

6.1 语法

REMOVE JAR'<path_to_filename>.jar'

6.2 说明

  • 移除指定的、由ADD JAR添加的 jar
  • 注意:REMOVE JAR 只在 SQL CLI 中生效(官方强调)

适用场景:

  • 临时调试用 jar,用完清理
  • 发生依赖冲突,移除某个 jar 做 A/B 验证
  • 会话长期复用,防止 jar 越加越多导致不可控

7. 一套实战工作流:用 JAR 语句管理 UDF

你在 SQL CLI 里注册 UDF 的常见节奏一般是:

1)添加 jar(本地或远程)

ADDJAR'/path/my-udf.jar';

2)确认 jar 已加载

SHOWJARS;

3)创建函数(示意)

CREATEFUNCTIONmy_funcAS'com.example.MyFunc';

4)验证函数可用

SHOWUSERFUNCTIONS;SELECTmy_func(col)FROMt;

5)调试结束清理

REMOVE JAR'/path/my-udf.jar';

这套流程的价值:可控、可复现、可回滚。

8. 总结

  • Flink SQL 目前支持三种 JAR 语句:ADD JARSHOW JARSREMOVE JAR
  • 核心作用:管理SQL CLI 会话 classloader中的用户 jar
  • ADD JAR支持本地/远程文件系统路径
  • 重要限制:不要用ADD JAR加载 Hive source/sink/function/catalog(Hive connector 已知限制)
  • REMOVE JAR仅在 SQL CLI 生效
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/4 20:59:23

还在手动管理日程?用Open-AutoGLM实现全自动提醒,效率翻倍!

第一章&#xff1a;Open-AutoGLM 日程安排提醒Open-AutoGLM 是一个基于 AutoGLM 架构的开源日程管理与智能提醒系统&#xff0c;旨在通过自然语言理解能力自动解析用户输入的任务内容&#xff0c;并生成结构化日程安排。该系统支持多平台同步、语音输入解析以及基于上下文的智能…

作者头像 李华
网站建设 2026/2/12 12:20:05

Open-AutoGLM参会人员通知(内部首发日程曝光)

第一章&#xff1a;Open-AutoGLM参会人员通知&#xff08;内部首发日程曝光&#xff09;会议核心议程概览 主题演讲&#xff1a;AutoGLM架构设计理念与开源生态构建技术分论坛&#xff1a;模型微调、推理优化与多模态集成实践闭门研讨&#xff1a;企业级部署中的安全合规挑战关…

作者头像 李华
网站建设 2026/1/31 23:34:13

Open-AutoGLM技术深度解析(会议智能整理新范式)

第一章&#xff1a;Open-AutoGLM技术深度解析&#xff08;会议智能整理新范式&#xff09;Open-AutoGLM 是新一代面向会议场景的智能语言理解与生成框架&#xff0c;融合了多模态感知、上下文建模与自动化摘要生成能力&#xff0c;重新定义了会议内容处理的技术边界。该系统基于…

作者头像 李华
网站建设 2026/2/10 12:38:39

别再错过收益波动!构建你的专属Open-AutoGLM收益预警系统(附源码)

第一章&#xff1a;Open-AutoGLM收益预警系统概述Open-AutoGLM收益预警系统是一套基于大语言模型与自动化数据处理技术构建的智能监控平台&#xff0c;专为金融、投资及企业财务场景设计。系统通过实时采集多源异构数据&#xff0c;结合自然语言理解能力&#xff0c;动态识别潜…

作者头像 李华
网站建设 2026/2/12 11:22:48

基于Flink的实时大数据异常检测系统设计与实现

基于Flink的实时大数据异常检测系统设计与实现 关键词&#xff1a;Flink流处理、实时异常检测、状态管理、窗口计算、大数据系统设计 摘要&#xff1a;在金融风控、物联网设备监控、服务器日志分析等场景中&#xff0c;实时发现异常数据是保障系统安全和业务稳定的关键。传统批…

作者头像 李华
网站建设 2026/2/11 16:36:33

CSP月测试卷三

一、选择题&#xff08;共15题&#xff0c;每题4分&#xff0c;满分60分&#xff09;请将正确答案的序号填入答题栏&#xff0c;多选、错选、不选均不得分。1、已知某二叉树的前序序列为ABCDEF&#xff0c;中序序列为BADCFE&#xff0c;则其后序序列为&#xff08;&#xff09;…

作者头像 李华