news 2026/10/10 9:18:49

AllData搭建数据治理平台,集成开源项目OpenDataWorks/Datavines/OpenMetaData,建设数据资产平台、数据质量平台、元数据管理平台(一)

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AllData搭建数据治理平台,集成开源项目OpenDataWorks/Datavines/OpenMetaData,建设数据资产平台、数据质量平台、元数据管理平台(一)

►顶部微信名片可直接添加市场总监,商务咨询、方案沟通即时响应
►点击链接了解更新详情:演示体验、社群咨询、商务采购:
https://docs.qq.com/doc/DVHlkSEtvVXVCdEFo

日常中是否有这样的烦恼?数据分散在各个业务系统,找数难、口径乱、数据质量不可控,敏感数据安全难以精细化管控。

业务场景:财务、生产、业务多套系统各自独立,业务人员需要一份经营汇总报表,来回对接多个IT人员。 好不容易拿到数据,却发现相同指标两边数值不一致;想要核查问题,不知道数据从哪流转而来。 同时原始明细里包含手机号、身份证等敏感字段,要么全部开放存在泄露风险,要么完全锁死业务无法查看。

AllData数据中台分 2 篇文章解析数据治理平台 7 大功能!现在!先看数据资产平台、数据质量平台、元数据管理平台三大核心模块,带您看清如何解决数据治理各类老旧问题!

注:数据模型管理(Data-Model)、数据门户管理(Data-Portal)、数据标准管理(Data-Standard)和数据权限管理(Data-Secure)在 数据治理平台(二) 中介绍

一、数据资产平台 (OpenDataWorks)

企业数据资产运营平台,基于元数据实现资产盘点、价值评估、资产服务化,释放数据资产业务价值。

OpenDataWorks项目地址:https://github.com/mikevan666/opendataworks
OpenDataWorks文档地址:https://github.com/mikevan666/opendataworks/blob/main/docs/guide/start/quick-start.md

1、资产全生命周期管理
完成全域数据资产盘点,对资产做打标、价值评估、生命周期管理。

✅️ 自动盘点库表、文件、接口等各类数据资产,统计资产数量、访问热度;
✅️ 支持业务标签、管理标签,区分核心资产、废弃资产,辅助资产治理决策。

数据资产页面:资产大盘总览,统计资产规模、访问热度与任务状态

数据仓库页面:支持SQL语句查询数据表,右边显示数据表的血缘流向

数据仓库页面:可切换成数据视图进行查看

2、核心功能 | 资产与血缘管理(重点指定能力)

依托元数据血缘,将血缘能力融入资产视图,支撑资产影响分析。

✅️ 在资产详情页可查看表 / 字段上下游血缘链路,直观展示资产加工来源;
✅️ 支持资产变更影响分析,评估修改、下线数据表会影响哪些下游业务、报表。

数据血缘页面:可视化全链路血缘图谱,追溯数据加工流转关系

数据建模页面:维护业务域、数据域,实现数仓分层资产管理

二、数据质量平台 (Datavines)

数据质量平台内置百余种质检规则的自动化数据体检平台,实现数据问题发现、作业调度、告警、问题跟踪的质量闭环。

Datavines项目地址:https://github.com/datavane/datavines
Datavines文档地址:https://datavane.github.io/datavines-website/

1、核心功能点 | 数仓质量分析(重点指定能力)

面向数仓表/字段构建质量作业,支持丰富规则、定时调度,完成全维度质量检测。

✅️ 内置完整性、唯一性、正则、阈值、跨表比对等上百种开箱即用质检规则,支持自定义SQL规则;
✅️ 支持定时调度质量作业,支持单表质检、跨数据源数据比对,输出质量大盘概览、表级/字段级质量统计。

数据质量分析-质量大盘页面:全局监控质检作业运行状态,直观展示数据质量概况

数据质量分析-数据目录页面:浏览接入的库表资产,辅助配置数据质量规则

数据质量分析-作业管理页面:管理质检作业,配置字段完整性、格式等校验规则

数据质量分析-作业编辑页面:设置质检规则、调度周期,创建自动化质量检查任务

2、核心功能 | 报告预警能力(重点指定能力)

SLA告警策略联动质检作业,异常多渠道通知,完整留存执行报告。

✅️ 可配置SLA告警规则,异常通过钉钉、邮件、企业微信多渠道秒级推送责任人;
✅️ 完整保存每次作业执行记录、检查明细报告;识别错误数据可进入错误数据管理做闭环跟踪治理。

数据质量分析-作业编辑页面:设置作业SLA告警配置

告警管理-SLA页面:配置 SLA 告警策略,实现数据质量异常消息通知

错误数据存储管理页面:管理问题数据存储,对质检识别错误数据进行闭环处理

三、元数据管理平台 (OpenMetaData)

全域元数据采集、解析、管理底座,统一接管各类数据源元数据,为数据目录、血缘、数据治理提供元数据基础支撑。

OpenMetaData项目地址:https://github.com/open-metadata/OpenMetadata
OpenMetaData文档地址:https://docs.open-metadata.org/latest

1、核心功能 | 数据分级分类(重点指定能力)

对数据表、字段资产打安全与业务分级标签,完成敏感资产识别归类。

✅️ 支持自定义分级分类体系,自动/手动为表、字段打上密级、业务域标签;
✅️ 分级分类结果输出给权限、数据门户,支撑数据权限管控、敏感资产检索。

数据探索页面:浏览元数据资产,查看数据表、字段基础

数据探索-详细页面:查看元数据详细信息

数据域页面:按业务域划分数据资产,实现资产权责划分

数据域-子域详细页面

数据域-数据产品页面

2、核心功能 | 数据目录与血缘管理(重点指定能力)

采集解析全链路元数据,自动解析血缘,构建元数据驱动的数据资产目录。

✅️ 自动采集多源数据库、数仓的库、表、字段、变更元数据,统一存储;
✅️ 自动解析ETL、SQL加工逻辑,构建字段级血缘关系,为上层门户、质量平台提供血缘能力。

数据探索-血缘关系查看页面

血缘关系页面:可视化展示数据表上下游链路,支持溯源与影响分析

设置-元数据拾取页面:支持多种数据源一键添加元数据

7大功能核心定位与场景选型(一)

1、数据资产平台 (OpenDataWorks)

核心定位:数据资产的总入口,完成资产盘点、资产生命周期管理,承载数据开发、数仓建模、任务调度,对外输出资产视图与资产价值评估。

适合的场景:需要做资产盘点、数仓建设、数据开发流水线,需要统计资产健康度、资产热度、下线废弃资产的项目。

2、数据质量平台(Datavines)

核心定位:数据质量的校验管控中心,配置各类质检规则、跨源数据比对、SLA 告警,识别脏数据,保障入库与加工后数据可信。

适合的场景:对数据准确性、完整性有强要求,需要自动巡检、异常告警、留存错误数据,金融 / 政务 / 生产类核心数据场景必选。

3、元数据管理平台(OpenMetaData)

核心定位:底层元数据采集引擎,自动采集库/表/字段信息,解析字段级数据血缘;为资产、门户、质量模块提供元数据、血缘底层能力。

适合的场景:几乎所有治理项目建议启用,是数据目录、血缘分析的底层底座,上层多个模块依赖它。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/10/10 9:18:26

EtherCAT 分布式时钟 DC 到底是什么?为什么多轴运动控制离不开它

在前面的文章中,我们已经从多个角度分析了 EtherCAT 的过程数据机制。我们知道:PDO 负责周期性过程数据交换;PDO Mapping 决定哪些对象进入过程数据;Sync Manager 管理过程数据通道;IgH Domain 把过程数据组织成主站侧…

作者头像 李华
网站建设 2026/10/10 9:17:55

小白程序员如何备战大模型面试?收藏这份2026年最新攻略!

本文基于作者上百场面试经验,分享了2026年大模型面试的最新趋势和技巧。文章指出,Agent方向岗位增多,简历上值钱的东西和去年不一样了,最重要的是别等准备好了再投。文章还详细介绍了四个不容忽视的信号,以及岗位地图、…

作者头像 李华
网站建设 2026/10/10 9:17:39

Prometheus + Grafana + SpringBoot

一、prometheus普罗米修斯 prometheus 受启发于 Google 的 Brogmon 监控系统(相似 kubernetes 是从 Borg 系统演变而来)。2016 年 5 月继 kubernetes 之后成为第二个加入 CNCF 基金会的项目,同年 6 月正式发布 1.0 版本。2017 年底发布基于全新存储层的 2.0 版本,目前最新…

作者头像 李华
网站建设 2026/10/10 9:15:33

手把手教你学Simulink——LoRaWAN低功耗传输协议仿真

目录 手把手教你学Simulink——LoRaWAN低功耗传输协议仿真(深度扩充版) 一、研发目标与系统边界(深度扩充) 1.1 LoRaWAN协议栈分层详解 1.2 区域参数深度解析(以EU868为例,可扩展US915/CN470) 1.3 节点类别对比(Class A/B/C) 1.4 输出指标扩充 二、LoRa CSS 物理…

作者头像 李华
网站建设 2026/10/10 9:15:29

华为OD机试真题 新系统 2026-09-26 JavaGoC【均衡调度】

目录 题目 思路 Code 题目 题目内容: 已知存在两个任务队列 A、B,队列成员表示单个任务耗时;为了缩短整体运行时间,需要队列 A 和队列 B 中任务的总耗时一致。 初始时队列 A 和队列 B 的任务总耗时不同,要求只进行一次任务交换:从 A 中选择一个任务,从 B 中选择一…

作者头像 李华
网站建设 2026/10/10 9:14:53

智能广播打铃系统实战:定时任务、铃声编辑与方案切换全解析

智能广播打铃系统正式版这名字,乍一听就是"定时放个音乐"的事,但真正在校园里部署过的人,都知道事情没那么简单。我见过太多学校,每天早上靠值日老师在广播室掐表按播放键,用音响放同一段MP3,放了…

作者头像 李华