news 2026/1/19 7:00:08

hive分桶表出现错误:The number of buckets for table xxx is 8, whereas the number of files is 16

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
hive分桶表出现错误:The number of buckets for table xxx is 8, whereas the number of files is 16

我们有一个表分成了8桶,今天早上跑批报错了,消息是:

The number of buckets for table xxx is 8, whereas the number of files is 16

上hdfs去查看一下,果然是16个文件。

可是我明明只分8桶,为什么会有16个文件?而且,直接select * from table xxx它又不会出错。
经仔细检查ETL逻辑发现,这个表是增量表,每天会加载一批增量数据过来,以前用的是insert overwrite table xxx select … from xxy union all …的方法,这张表却是insert into table xxx select … from xxy 的方法,说明新增的数据,hive并没有合并到老文件里,只是新加了一个“补丁文件”,导致文件数据增多。修复一个增量sql就解决了。
但是,为什么直接单表select就没问题,而join其它表就有问题了?还得研究。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/1/14 20:41:21

通信原理篇---常见的几种部分响应

让我们用「声音接力游戏」来彻底搞懂这几类部分响应。这个比喻会让你瞬间理解它们的区别和妙处。核心比喻:声音接力游戏想象一个游戏:一排人站好,第一个人要悄悄传递一串数字(比如 1 0 1 1)给最后一个人。规则限制&…

作者头像 李华
网站建设 2026/1/14 20:41:17

通信原理篇---第二类部分响应的预编码和相关编码

我们用「带负号的声音接力」这个游戏来彻底搞懂第四类部分响应的预编码和相关编码。这个类比会让你发现它和第一类的精妙差异。核心比喻:带负号的猜数游戏这次的游戏规则变了,更奇特:新规则:我报出的数字 我当前的数字 - 你猜的上…

作者头像 李华
网站建设 2026/1/19 6:38:08

MySQL事务隔离级别:从并发混乱到数据一致性守护者

引言:一个银行系统的并发困境想象一下,你正在开发一个银行转账系统。当用户A向用户B转账时,系统需要执行两个操作:从A账户扣款,向B账户加款。在并发环境下,如果没有适当的控制,可能会发生这样的…

作者头像 李华
网站建设 2026/1/14 20:35:54

【卫星】全球导航卫星系统GNSS中的欺骗与欺骗检测算法,模拟载体在正常GNSS导航和GNSS欺骗攻击下的运动状态,通过IMU+GNSS融合定位,最终实现欺骗检测与结果分析附matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页:Matlab科研工作室👇 关注我领取海量matlab电子书和数学建模资料 &#x1f34…

作者头像 李华
网站建设 2026/1/14 20:34:30

在Markdown文档中添加目录的方法

在Markdown文档中添加目录有多种方法,下面介绍几种常用的方式: 一、自动生成目录(部分编辑器/平台支持) 1. 使用 [TOC] 标记(Typora、部分GitHub项目等) [toc] # 标题1 ## 标题2 ### 标题32. 使用插件/扩…

作者头像 李华