达梦数据库查重实战：多字段联合去重完整指南
今天在工作中处理了一个达梦数据库的查重需求，记录下解决方案，分享给可能遇到类似问题的朋友。
📋 问题背景
需要从UM_USERINFOAPPLY表中，根据USERINFO_CODE + GMT_MODIFIED两个字段的组合值进行查重。其中：
USERINFO_CODE：用户信息编码（字符串类型）GMT_MODIFIED：修改时间（可能是时间类型或字符串类型）
🎯 核心挑战
两个字段直接拼接可能导致边界模糊，比如：
"ABC2023" + "01-01"和"ABC" + "202301-01"难以区分因此需要在两个字段之间添加分隔符
🔧 解决方案汇总
1.基础查重查询（推荐）
-- 添加空格分隔符，避免字段值边界模糊 SELECT CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS 组合字段, COUNT(*) AS 重复次数 FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) HAVING COUNT(*) > 1;
________________________________
-- 找出重复记录（用空格分隔）
SELECT
CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS combined_field,
COUNT(*) AS duplicate_count
FROM UM_USERINFOAPPLY
GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED)
HAVING COUNT(*) > 1;
2.查看重复数据详情
-- 找出所有重复的详细记录 SELECT t1.* FROM UM_USERINFOAPPLY t1 INNER JOIN ( SELECT CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) AS combined_key FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', GMT_MODIFIED) HAVING COUNT(*) > 1 ) t2 ON CONCAT(t1.USERINFO_CODE, ' ', t1.GMT_MODIFIED) = t2.combined_key ORDER BY CONCAT(t1.USERINFO_CODE, ' ', t1.GMT_MODIFIED);
3.处理时间类型字段
如果GMT_MODIFIED是时间类型，需要先转换：
SELECT CONCAT(USERINFO_CODE, ' ', TO_CHAR(GMT_MODIFIED, 'YYYY-MM-DD HH24:MI:SS')) AS 组合字段, COUNT(*) AS 重复次数 FROM UM_USERINFOAPPLY GROUP BY CONCAT(USERINFO_CODE, ' ', TO_CHAR(GMT_MODIFIED, 'YYYY-MM-DD HH24:MI:SS')) HAVING COUNT(*) > 1;
4.高效查重方案
-- 使用窗口函数，性能更好 WITH MarkedData AS ( SELECT *, ROW_NUMBER() OVER ( PARTITION BY USERINFO_CODE, GMT_MODIFIED ORDER BY ROWID ) AS rn FROM UM_USERINFOAPPLY ) SELECT * FROM MarkedData WHERE rn > 1;
5.删除重复数据
-- 删除重复记录，只保留第一条 DELETE FROM UM_USERINFOAPPLY WHERE ROWID IN ( SELECT rid FROM ( SELECT ROWID AS rid, ROW_NUMBER() OVER ( PARTITION BY USERINFO_CODE, GMT_MODIFIED ORDER BY ROWID ) AS rn FROM UM_USERINFOAPPLY ) WHERE rn > 1 );
💡 关键技术点
1.字段连接技巧
使用
CONCAT(field1, ' ', field2)添加空格分隔或者使用
field1 || ' ' || field2（达梦支持）关键：分隔符避免了字段值边界模糊问题
2.时间类型处理
使用
TO_CHAR()函数统一时间格式推荐格式：
'YYYY-MM-DD HH24:MI:SS'确保时间比较的一致性
3.性能优化
大数据量时创建临时索引：
CREATE INDEX idx_temp ON table(field1, field2)使用
ROW_NUMBER()窗口函数替代子查询查询后清理临时索引
📊 对比分析
| 方法 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| CONCAT分组 | 简单直观 | 性能一般 | 小数据量 |
| 窗口函数 | 性能好，功能强 | 语法稍复杂 | 大数据量 |
| JOIN查询 | 可查看详情 | 性能较差 | 需要查看详情时 |
| 时间转换 | 处理时间类型 | 需要格式统一 | 字段有时间类型时 |
🚀 最佳实践建议
预处理阶段：先确认字段类型，时间类型要先转换
分隔符选择：使用不常见的字符作为分隔符，如
'||'或'##'分步执行：先查询确认，再处理数据
备份优先：删除数据前务必备份或创建临时表
性能监控：大数据表添加临时索引提升性能
🎓 经验总结
字段连接查重的关键是确保组合键的唯一性和可读性
空格分隔符虽简单，但在大多数场景下足够使用
达梦数据库兼容标准SQL语法，但也有些Oracle特性
实际应用中，往往需要结合业务逻辑判断哪些字段需要联合去重
这个案例展示了数据库查重的常见处理模式，同样的思路也适用于其他数据库如MySQL、Oracle等，只是语法细节略有不同。
