►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应
►点击链接了解更新详情:演示体验、社群咨询、商务采购:
https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo
日常中是否有这样的烦恼?数据分散在各个业务系统,找数难、口径乱、数据质量不可控,敏感数据安全难以精细化管控。
业务场景:财务、生产、业务多套系统各自独立,业务人员需要一份经营汇总报表,来回对接多个IT人员。 好不容易拿到数据,却发现相同指标两边数值不一致;想要核查问题,不知道数据从哪流转而来。 同时原始明细里包含手机号、身份证等敏感字段,要么全部开放存在泄露风险,要么完全锁死业务无法查看。
AllData数据中台分 2 篇文章解析数据治理平台 7 大功能!现在!先看数据资产平台、数据质量平台、元数据管理平台三大核心模块,带您看清如何解决数据治理各类老旧问题!
注:数据模型管理(Data-Model)、数据门户管理(Data-Portal)、数据标准管理(Data-Standard)和数据权限管理(Data-Secure)在 数据治理平台(二) 中介绍
一、数据资产平台 (OpenDataWorks)
企业数据资产运营平台,基于元数据实现资产盘点、价值评估、资产服务化,释放数据资产业务价值。
OpenDataWorks项目地址:https://github.com/mikevan666/opendataworks
OpenDataWorks文档地址:https://github.com/mikevan666/opendataworks/blob/main/docs/guide/start/quick-start.md
1、资产全生命周期管理
完成全域数据资产盘点,对资产做打标、价值评估、生命周期管理。
✅️ 自动盘点库表、文件、接口等各类数据资产,统计资产数量、访问热度;
✅️ 支持业务标签、管理标签,区分核心资产、废弃资产,辅助资产治理决策。
数据资产页面:资产大盘总览,统计资产规模、访问热度与任务状态
数据仓库页面:支持SQL语句查询数据表,右边显示数据表的血缘流向
数据仓库页面:可切换成数据视图进行查看
2、核心功能 | 资产与血缘管理(重点指定能力)
依托元数据血缘,将血缘能力融入资产视图,支撑资产影响分析。
✅️ 在资产详情页可查看表 / 字段上下游血缘链路,直观展示资产加工来源;
✅️ 支持资产变更影响分析,评估修改、下线数据表会影响哪些下游业务、报表。
数据血缘页面:可视化全链路血缘图谱,追溯数据加工流转关系
数据建模页面:维护业务域、数据域,实现数仓分层资产管理
二、数据质量平台 (Datavines)
数据质量平台内置百余种质检规则的自动化数据体检平台,实现数据问题发现、作业调度、告警、问题跟踪的质量闭环。
Datavines项目地址:https://github.com/datavane/datavines
Datavines文档地址:https://datavane.github.io/datavines-website/
1、核心功能点 | 数仓质量分析(重点指定能力)
面向数仓表/字段构建质量作业,支持丰富规则、定时调度,完成全维度质量检测。
✅️ 内置完整性、唯一性、正则、阈值、跨表比对等上百种开箱即用质检规则,支持自定义SQL规则;
✅️ 支持定时调度质量作业,支持单表质检、跨数据源数据比对,输出质量大盘概览、表级/字段级质量统计。
数据质量分析-质量大盘页面:全局监控质检作业运行状态,直观展示数据质量概况
数据质量分析-数据目录页面:浏览接入的库表资产,辅助配置数据质量规则
数据质量分析-作业管理页面:管理质检作业,配置字段完整性、格式等校验规则
数据质量分析-作业编辑页面:设置质检规则、调度周期,创建自动化质量检查任务
2、核心功能 | 报告预警能力(重点指定能力)
SLA告警策略联动质检作业,异常多渠道通知,完整留存执行报告。
✅️ 可配置SLA告警规则,异常通过钉钉、邮件、企业微信多渠道秒级推送责任人;
✅️ 完整保存每次作业执行记录、检查明细报告;识别错误数据可进入错误数据管理做闭环跟踪治理。
数据质量分析-作业编辑页面:设置作业SLA告警配置
告警管理-SLA页面:配置 SLA 告警策略,实现数据质量异常消息通知
错误数据存储管理页面:管理问题数据存储,对质检识别错误数据进行闭环处理
三、元数据管理平台 (OpenMetaData)
全域元数据采集、解析、管理底座,统一接管各类数据源元数据,为数据目录、血缘、数据治理提供元数据基础支撑。
OpenMetaData项目地址:https://github.com/open-metadata/OpenMetadata
OpenMetaData文档地址:https://docs.open-metadata.org/latest
1、核心功能 | 数据分级分类(重点指定能力)
对数据表、字段资产打安全与业务分级标签,完成敏感资产识别归类。
✅️ 支持自定义分级分类体系,自动/手动为表、字段打上密级、业务域标签;
✅️ 分级分类结果输出给权限、数据门户,支撑数据权限管控、敏感资产检索。
数据探索页面:浏览元数据资产,查看数据表、字段基础
数据探索-详细页面:查看元数据详细信息
数据域页面:按业务域划分数据资产,实现资产权责划分
数据域-子域详细页面
数据域-数据产品页面
2、核心功能 | 数据目录与血缘管理(重点指定能力)
采集解析全链路元数据,自动解析血缘,构建元数据驱动的数据资产目录。
✅️ 自动采集多源数据库、数仓的库、表、字段、变更元数据,统一存储;
✅️ 自动解析ETL、SQL加工逻辑,构建字段级血缘关系,为上层门户、质量平台提供血缘能力。
数据探索-血缘关系查看页面
血缘关系页面:可视化展示数据表上下游链路,支持溯源与影响分析
设置-元数据拾取页面:支持多种数据源一键添加元数据
7大功能核心定位与场景选型(一)
1、数据资产平台 (OpenDataWorks)
核心定位:数据资产的总入口,完成资产盘点、资产生命周期管理,承载数据开发、数仓建模、任务调度,对外输出资产视图与资产价值评估。
适合的场景:需要做资产盘点、数仓建设、数据开发流水线,需要统计资产健康度、资产热度、下线废弃资产的项目。
2、数据质量平台(Datavines)
核心定位:数据质量的校验管控中心,配置各类质检规则、跨源数据比对、SLA 告警,识别脏数据,保障入库与加工后数据可信。
适合的场景:对数据准确性、完整性有强要求,需要自动巡检、异常告警、留存错误数据,金融 / 政务 / 生产类核心数据场景必选。
3、元数据管理平台(OpenMetaData)
核心定位:底层元数据采集引擎,自动采集库/表/字段信息,解析字段级数据血缘;为资产、门户、质量模块提供元数据、血缘底层能力。
适合的场景:几乎所有治理项目建议启用,是数据目录、血缘分析的底层底座,上层多个模块依赖它。