DataHub:一款开源元数据管理平台,支持数据发现、治理与血缘追踪
DataHub 是面向现代数据栈的元数据管理平台,用于帮助企业收集、管理、发现、理解和使用数据资产。项目采用 Java、JavaScript、Python 等技术开发,遵循 Apache 2.0 开源协议,源码托管于 GitHub:
https://github.com/datahub-project/datahub
功能特性
元数据提取:支持推送(Push)和拉取(Pull)两种模式,从各种数据源获取元数据。集成了 Kafka、Pulsar、Airflow、MySQL、PostgreSQL、SQL Server、Oracle、Snowflake、Hive、BigQuery、Redshift、Databricks、Looker、Tableau、PowerBI 等常见数据系统。
数据发现:支持通过关键词、过滤条件或高级运算符,在所有集成的数据资产中执行搜索。也可以通过可配置的层次结构浏览数据资产,例如按业务功能或物理部署方式查看。
数据治理:提供策略管理功能,实现细粒度的访问控制,可定义谁对哪些数据资源执行何种操作。同时支持通过标签(Tag)、术语表(Glossary)和域(Domain)等工具进行数据治理。
所有权管理:快速将数据资产的所有权分配给特定用户或用户组,并支持多种所有权类型。
数据血缘:跨平台、数据集和数据管道追踪数据的端到端旅程,并通过线性血缘图等可视化工具展示。
数据质量控制:通过元数据测试、断言、数据新鲜度检查和数据契约提高数据质量。
API 集成:提供丰富的 API 和 SDK,方便将数据流集成到各种应用中。
MCP 服务器:实现了模型上下文协议(Model Context Protocol),支持 LLM 和 AI 代理查询 DataHub 元数据,用于查找相关资产、遍历沿袭等操作。
在线体验
免费在线环境,可直接通过浏览器访问,无需注册:
下载安装
本地部署 DataHub 需要准备 Python 以及 Docker、Docker Compose。首先安装 DataHub 命令行工具:
python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip install --upgrade acryl-datahub
datahub version
随后执行部署命令:
datahub docker quickstart
服务启动后,在浏览器中访问:
http://localhost:9002/
默认用户名和密码均为 datahub。
可通过以下命令导入示例数据:
datahub docker ingest-sample-data
总结
DataHub 是一个功能全面且架构现代的元数据管理平台,适合需要管理复杂数据栈、并希望提升数据发现、治理和协作效率的企业。