news 2026/8/8 16:45:04

分库分表数据源ShardingSphereDataSource的Connection元数据误用问题分析

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
分库分表数据源ShardingSphereDataSource的Connection元数据误用问题分析

背景

对于分库分表应用来说,使用org.apache.shardingsphere.driver.jdbc.core.datasource.ShardingSphereDataSource是一个不错的解决方案,你可以通过配置文件编写分库分表规则,从而在编码时透明地使用分表(当然,路由规则的相关字段还是要传的

但是,在一些场景中是需要绕过mybatis直接做一些操作的,特别是和数据库元数据相关的操作(包括表的结构变更)。

比如我遇到的场景:先查询各个分库中有哪些前缀为table_的表,并给这些表加一列col_x

我结合现有代码和大语言模型,先写了一版,线下运行良好,但是线上的某些分库死活找不到对应的分表,没法进行后续的处理。这个问题查了很久,昨天终于解决了,因此分享出来。

存在问题的代码

@Componet public class TableAlterHandler { @Resource private ShardingSphereDataSource dataSource; public List<String> findTablesByPrefix(String prefix, String physicalSchemaName) { if (StringUtils.isBlank(prefix) || StringUtils.isBlank(physicalSchemaName)) { throw new RuntimeException("分表前缀或分库名为空"); } List<String> tableNames = Lists.newArrayList(); try (HintManager hintManager = HintManager.getInstance(); Connection conn = dataSource.getConnection()) { hintManager.setDataSourceName(DBUtil.queryLogicalSchemaName(physicalSchemaName)); DatabaseMetaData metaData = conn.getMetaData(); try (ResultSet rs = metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) { while (rs.next()) { String tableName = rs.getString("TABLE_NAME"); tableNames.add(tableName); } } } catch (SQLException e) { throw new RuntimeException("处理大结果集失败", e); } return tableNames; } }

逻辑库和物理库

在分析问题之前,首先要明确两个概念:物理库名physicalSchemaName和逻辑库名logicalSchemaName,如果用错了,可能会让你没办法发现后续问题的本质原因。上面的代码,hintManager必须用逻辑库名,而metaData.getTables必须用物理库名。

所谓物理库和逻辑库,可以看作是我定义的概念。正如其名,物理库名就是你jdbcUrl里的库名,比如一个典型的阿里云Mysql的JDBC链接jdbc:mysql://``rm-bpxxxx.mysql.rds.aliyuncs.com/bizcenter_1?useSSL=false&autoReconnect=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai

其中的bizcenter_1就是物理库名。这个名称也会在MySql元数据中出现,比如

select * from information_schema.tables;

可以看到这个库的所有表,而TABLE_SCHEMA列就是物理库名。

而逻辑库,则是ShardingSphereDataSource对物理库的映射,在application的配置文件(properties或yml)里,spring.shardingsphere.datasource配置下,你需要配置逻辑库名以及对应的JDBC链接。

你可以将多个逻辑库配置为同一个物理库,这是一种实践方式,可以用于后续的扩容。

问题现象

线下的三个逻辑库分别对应一个物理库,而这三个物理库在同一个阿里云RDS实例上,可以找到每个库对应的表。

而线上的仍然是三个逻辑库对应各自的物理库,每个物理库在不同的阿里云RDS实例上,会出现有时候能找到某个库对应的表,而另外两个库一个表都找不到的情况。

排查

遇到问题后,百思不得其解,因为线下环境一切正常,线上却总能复现问题。由于线上环境管控比较严,既不能远程debug,又不能直连线上库,很难定位原因。

第一阶段排查,我反复确认了上面代码中需要传数据库名的地方到底是逻辑库还是物理库。中间某个版本的确搞错了,但是为何在写错的前提下还能运行,没有做记录。

然后,我删掉了connection.setAutoCommit(false)resultSet.setFetchSize(batchSize)这样的用于降低每次查询元数据结果数量的代码,也没效果。

最后,我把代码移到了另一个连接同样数据库的应用中,因为那个应用有我之前类似的代码。移过去以后倒是歪打正着地解决了。

第二阶段的排查,是在一段时间后,我在原先的应用中开发新的功能,对原先代码进行改动,自以为修复好了,但是上线后发现还是和之前一样。

分析

线下线上最大的区别就是线下几个库是同一个MySql实例,而线上分属三个。我的代码里,疑点最大的是查询元数据metaData.getTables()这段。

好巧不巧,在我排查的第一阶段和第二阶段中间,我写了一个迁移表的功能,完全新写了查询表名的代码,并且为了不再犯物理库和逻辑库搞混的错误,特别地写了对应的工具类:

/** * 数据源持有组件,便于应用直接访问数据源 * */ @Component public class DataSourceHolder { @Resource protected ShardingSphereDataSource dataSource; /** 物理库名(jdbc链接里的库名)和数据源的关系 */ private Map<String, HikariDataSource> hikariDataSourceMap; /** 逻辑库名-物理库名关系 多个逻辑库可能对应同一个物理库 */ private Map<String, String> dsNameMap; /** * 通过物理库名获取ds * * @param physicalSchemaName * @return */ public HikariDataSource getDataSourceByPhysicalSchemaName(String physicalSchemaName) { return hikariDataSourceMap.get(physicalSchemaName); } /** * 通过逻辑库名获取对应物理库名 * * @param dsName * @return */ public String getPhysicalSchemaName(String dsName) { return dsNameMap.get(dsName); } /** * 通过逻辑库名获取ds * * @param logicalSchemaName * @return */ public HikariDataSource getDataSourceByLogicalSchemaName(String logicalSchemaName) { String physicalSchemaName = getPhysicalSchemaName(logicalSchemaName); if (StringUtils.isBlank(physicalSchemaName)) { throw new RuntimeException("逻辑库名找不到对应物理库, logicalSchemaName=" + logicalSchemaName); } return hikariDataSourceMap.get(physicalSchemaName); } @PostConstruct public void initHikariDataSourceMap() { dsNameMap = Maps.newHashMap(); hikariDataSourceMap = Maps.newHashMap(); Map<String, DataSource> dataSourceMap = dataSource.getContextManager().getDataSourceMap(dataSource.getSchemaName()); dataSourceMap.forEach( (dsName, ds) -> { HikariDataSource hds = (HikariDataSource) ds; try (Connection connection = hds.getConnection(); ) { hikariDataSourceMap.put(connection.getCatalog(), hds); dsNameMap.put(dsName, connection.getCatalog()); } catch (SQLException e) { throw new RuntimeException("组装数据源map失败", e); } }); } }

对应地,获取数据库Connection的方法是:

HikariDataSource hikariDataSource = dataSourceHolder.getDataSourceByPhysicalSchemaName(dsName); Connection connection = hikariDataSource.getConnection();

并且也不再使用HintManager指定逻辑库。

联想到线上线下MySql实例的差异,我猜测是因为:

线下三个库是同一个MySql实例,那么元数据information_schema.tables是一样的,在哪个库都能查到对应表。

线上则是不同的实例,直接使用ShardingSphereDataSource对应Connection的元数据,并不总是预期的库。

这个猜测原因,也在之前第一阶段的排查吻合,能正常工作的代码所在应用,获取数据源的方式实际是

Map<String, DataSource> allDataSource = shardingSphereDataSource.getContextManager().getDataSourceMap("logic_db"); Connection connection = allDataSouce.get(logicalSchemaName).getConnection();

虽然它也用了HintManger,但我认为是没有意义的。

修复

综合以上的分析,最终的修复代码如下

List<String> tableNames = Lists.newArrayList(); try (Connection conn = dataSourceHolder.getDataSourceByPhysicalSchemaName(physicalSchemaName).getConnection()) { DatabaseMetaData metaData = conn.getMetaData(); try (ResultSet rs = metaData.getTables(physicalSchemaName, null, prefix + "%", new String[] {"TABLE"})) { while (rs.next()) { String tableName = rs.getString("TABLE_NAME"); tableNames.add(tableName); } } } catch (SQLException e) { throw new RuntimeException("处理大结果集失败", e); } return tableNames;

这次再部署到生产环境,运行符合预期。

可见,当你需要实际分库对应的元数据时,不要用shardingSphereDataSource,而是应该用它关联具体分库的dataSource,也即shardingSphereDataSource.getContextManager().getDataSourceMap(),再用这个分库dataSource获取元数据。

否则,线下线上不同的MySql实例配置,会导致不同的现象,难以排查真正的原因。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/31 13:54:08

wx微信小程序部分逻辑

微信小程序的逻辑层&#xff08;App Service&#xff09;概述 微信小程序的框架分为**视图层&#xff08;View&#xff09;和逻辑层&#xff08;App Service&#xff09;**两部分。其中&#xff0c;逻辑层负责处理业务逻辑、数据处理和事件响应&#xff0c;是小程序的核心“大…

作者头像 李华
网站建设 2026/8/3 14:52:04

YOLO目标检测服务支持gRPC协议,降低GPU通信开销

YOLO目标检测服务支持gRPC协议&#xff0c;降低GPU通信开销 在智能制造工厂的质检线上&#xff0c;上百台工业相机每秒拍摄数千张产品图像&#xff0c;这些数据需要实时传输到后端GPU服务器进行缺陷检测。如果采用传统的HTTPJSON接口&#xff0c;频繁的连接建立、低效的文本序列…

作者头像 李华
网站建设 2026/8/2 6:36:09

Thief-Book终极指南:IDEA开发者的隐秘阅读神器

Thief-Book终极指南&#xff1a;IDEA开发者的隐秘阅读神器 【免费下载链接】thief-book-idea IDEA插件版上班摸鱼看书神器 项目地址: https://gitcode.com/gh_mirrors/th/thief-book-idea 还在为代码调试的等待时间感到无聊吗&#xff1f;想在紧张的开发节奏中寻找片刻的…

作者头像 李华
网站建设 2026/8/2 14:01:45

YOLOv9-C性能评测:在A10G上实现8ms推理延迟

YOLOv9-C 在 A10G 上实现 8ms 推理延迟的性能实践 在智能制造与智能视觉系统快速演进的今天&#xff0c;一个核心挑战始终摆在工程师面前&#xff1a;如何在不牺牲检测精度的前提下&#xff0c;将目标检测模型的推理延迟压到毫秒级&#xff1f;尤其是在高速 SMT 产线、自动化质…

作者头像 李华
网站建设 2026/7/26 3:19:14

YOLOv10创新点解读:无锚框设计如何释放GPU算力

YOLOv10创新点解读&#xff1a;无锚框设计如何释放GPU算力 在工业质检流水线上&#xff0c;一台搭载多路摄像头的AI检测设备正以每秒60帧的速度运行。然而&#xff0c;当场景中出现密集小目标——例如电路板上的微小焊点缺陷时&#xff0c;系统帧率骤降至20帧以下&#xff0c;G…

作者头像 李华
网站建设 2026/7/26 13:39:09

YOLO工业质检场景落地:每秒百帧检测背后的GPU集群支撑

YOLO工业质检场景落地&#xff1a;每秒百帧检测背后的GPU集群支撑 在现代电子制造工厂的SMT贴片线上&#xff0c;一块PCB板从印刷、贴装到回流焊完成&#xff0c;整个过程可能不到50毫秒。在这电光火石之间&#xff0c;成百上千个元器件必须精准无误地落在指定位置——任何微小…

作者头像 李华