news 2026/9/13 4:53:00

DataHub 本地跑通全流程:10 分钟从容器启动到看到血缘图

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
DataHub 本地跑通全流程:10 分钟从容器启动到看到血缘图

DataHub 本地跑通全流程:10 分钟从容器启动到看到血缘图

【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub

DataHub 本地部署其实没那么玄乎——装好 CLI、一条命令拉起服务栈、再灌一份演示数据,10 分钟后你就能在浏览器里点开一张表,看到它的上下游血缘。假设你的数据散落在 5 个平台、没人说得清谁在消费哪张表,这篇文章带你亲手把这套元数据平台在本地跑起来。

🐳 第 1 分钟:把 CLI 装进终端

前置只需要 Docker Desktop 和 Python 3.10+,装好即可,本文不展开。

CLI 是整个流程的遥控器,安装它才能一键起服务、灌数据:

pip install --upgrade acryl-datahub

跑完执行datahub version能看到版本号,说明 DataHub CLI 安装成功。后面所有命令都靠它。

📦 第 5 分钟:一条命令拉起的完整服务栈

datahub docker quickstart

这一条命令会拉镜像、建网络、起 MySQL、Kafka、OpenSearch,再部署 GMS 后端和前端,一条都不用你碰。跑完最后一行出现✔ DataHub is now running,终端还会贴心地告诉你账号密码。

上图是 DataHub 的整体架构:左侧各数据源把元数据推/拉到平台,右侧通过 GraphQL、REST、Kafka 输出给下游。完整 Compose 配置在 docker/quickstart/ 目录下,官方入门文档同步在 docs/quickstart.md。

🧭 第 15 分钟:灌入演示数据,让目录"活"起来

浏览器打开 http://localhost:9002,用默认账号密码登录——都是datahub

但空的目录没意思,先让 CLI 记住这个实例:

datahub init --username datahub --password datahub

再加载官方演示数据,一次灌入约 1050 个实体,横跨 Snowflake、Looker、PowerBI、Tableau,带血缘、标签、术语和数据产品:

datahub datapack load showcase-ecommerce

跑完终端显示 ingestion 成功,浏览器里整个目录瞬间被填满。这个数据包的加载逻辑就写在 metadata-ingestion/src/datahub/cli/ 里,好奇可以翻翻。

加载演示数据后先看哪三个页面

  • 全局搜索:搜个表名,回车,比翻 5 个平台快得多。
  • 数据集详情页:点开任意一张表,Schema、Owner、标签一览无余。
  • 血缘图(Lineage):同一页面切到 Lineage 标签,上游是谁、下游谁在消费,一张图说清——这就是开头那个痛点的解法。

🔧 卡住了怎么办

跑不通别慌,90% 的问题出在这两处:

  • 端口被占:前端 9002、GMS 8080 被占时,设环境变量DATAHUB_MAPPED_FRONTEND_PORT=9003后重新执行 quickstart。
  • 资源不够:容器起不来就先给 Docker 加内存到 8GB 以上,再清理一下:
docker system prune datahub docker check

check会告诉你哪个容器没就绪,照日志修即可。到这里你的本地 DataHub 已经跑通全流程,下一步就可以把演示数据换成真实平台的连接配置,让这个目录替你团队干活了。

【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址: https://gitcode.com/GitHub_Trending/da/datahub

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/9/13 4:52:52

RP2040 DMA内存传输原理与MicroPython实战指南

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华
网站建设 2026/9/13 4:50:56

企业非法集资风险预测实战:特征工程与LightGBM调参全攻略

简介:一套围绕CCF「企业非法集资风险预测」赛题的完整算法源码与配套数据包,面向机器学习参赛者、金融风控学习者和相关毕设/项目开发人员,聚焦企业多维数据下的风险建模与预测。资源共27个文件,包含22个csv数据文件、2个Python脚…

作者头像 李华
网站建设 2026/9/13 4:47:57

gVisor GPU 实战:为 Llama-2-7B-Chat-HF 构建 TensorRT 引擎的完整流程

gVisor GPU 实战:为 Llama-2-7B-Chat-HF 构建 TensorRT 引擎的完整流程 【免费下载链接】gvisor Application Kernel for Containers 项目地址: https://gitcode.com/GitHub_Trending/gv/gvisor 本文基于 gVisor 仓库中 TensorRT 引擎构建指南 展开&#xff…

作者头像 李华
网站建设 2026/9/13 4:40:21

团队AI命令行工具实战:从模型网关到提示词模板的完整设计

1. 为什么团队需要这样一个AI命令行工具先聊清楚一个问题:现在的AI辅助工具遍地都是,网页版、桌面客户端、IDE插件,哪个不能用?为什么还要折腾一个teamai-cli这样的命令行工具?我自己在带小团队的时候,真实…

作者头像 李华
网站建设 2026/9/13 4:39:54

从RPA到桌面Agent:容器化如何重塑自动化流程

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

作者头像 李华