news 2026/4/15 15:18:35

spark读hive偶尔出现table not found

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
spark读hive偶尔出现table not found

1、问题发现:

在spark环境调试业务过程中,出现table not found问题,重跑之后改问题又消失,后面发现有一定概率出现该问题

2、问题定位:

spark环境中是通过hive-site连接hive hive.metastore,查看hive.metastore.uris配置,发现该配置为3个实例

<property>
<name>hive.metastore.uris</name>
<value>thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083</value>
</property>

问题随机发生的原因,猜测可能是不同元数据实例之间数据不同步问题

3、问题分析

查看spark环境连的是哪个uri,多次测试后发现,连接到ip1:9083和ip3:9083时,会出现table not found。连接到ip2:9083时无问题。

spark.sql("show databases").show(false) # 查看hive metastore连接地址 netstat -tpn | grep pid | grep 9083

4、问题解决

临时使用ip2:9083,同步排查thrift://ip1:9083,thrift://ip2:9083,thrift://ip3:9083不同步的原因

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/3 13:07:44

【小白笔记】删除链表的倒数第N个节点与删除链表的中间节点,环形链表(两类双指针“滑窗与速度差”)

这个问题是典型的**“双指针”**应用场景。它的巧妙之处在于&#xff1a;不需要先测量整个链表的长度&#xff0c;通过两个指针的“距离差”&#xff0c;只需一次遍历就能找到倒数第 NNN 个节点。1. 核心思路&#xff1a;快慢指针&#xff08;等距离滑动&#xff09; 要删除倒数…

作者头像 李华
网站建设 2026/4/15 12:53:59

测试基础|执行验收测试需要注意哪些?

通过本文的介绍&#xff0c;供大家了解验收测试的重要性以及它如何帮助开发测试人员确保软件应用程序满足所需的规范。 概述 验收测试涉及从用户的角度验证应用程序的验收&#xff0c;评估软件是否符合业务要求&#xff0c;以确定其是否可以发布。 在软件开发生命周期(Softw…

作者头像 李华
网站建设 2026/4/14 3:03:54

算法题 二进制表示中质数个计算置位

二进制表示中质数个计算置位 问题描述 给你两个整数 left 和 right&#xff0c;请你找到在 [left, right] 范围内&#xff0c;计算置位位数为质数的整数个数。 计算置位&#xff1a;指二进制表示中 1 的个数。质数&#xff1a;大于 1 且只能被 1 和自身整除的数。 注意&…

作者头像 李华
网站建设 2026/4/7 19:46:14

β-Amyloid (1-42), Rat;DAEFGHDSGFEVRHQKLVFFAEDVGSNKGAIIGLMVGGVVIA

一、基础性质英文名称&#xff1a;β-Amyloid (1-42), Rat&#xff1b;Amyloid β-Protein (1-42), Rat&#xff1b;Rat Aβ1-42中文名称&#xff1a;大鼠源 β- 淀粉样蛋白 (1-42)&#xff1b;大鼠 β- 淀粉样肽 (1-42)单字母多肽序列&#xff1a;DAEFGHDSGFEVRHQKLVFFAEDVGSN…

作者头像 李华
网站建设 2026/4/8 4:04:46

β-Amyloid (25-35);GSNKGAIIGLM

一、基础性质英文名称&#xff1a;β-Amyloid (25-35)&#xff1b;Amyloid β-Protein (25-35)&#xff1b;Aβ25-35中文名称&#xff1a;β- 淀粉样蛋白 (25-35)&#xff1b;β- 淀粉样肽 (25-35)单字母序列&#xff1a;GSNKGAIIGLM&#xff08;标准 Aβ25-35 序列&#xff09…

作者头像 李华
网站建设 2026/4/13 10:28:14

冰 挂——冬日的风景线

冬日群峰&#xff0c;俨然一座童话秘境。溪流收住奔涌的脚步&#xff0c;倒挂悬崖&#xff0c;凝作晶莹剔透的冰景。 有的如乳白软酪&#xff0c;柔润饱满&#xff0c;铺满整面山壁&#xff1b;有的似银白玉柱&#xff0c;清透晶亮&#xff0c;挺立于崖下石阶&#xff1b;有的像…

作者头像 李华