- 综合排序
- 最热优先
- 最新优先
- 来自专栏鸿的学习笔记
现代元数据平台
元数据管理很多年前就有了，比如很多公司会拿Excel或者是文本存储数据仓库里所有的表结构，以方便大家查询。但是现代元数据平台与传统的元数据管理有什么区别呢？ 它是一个平台，可大规模集成、处理和提供丰富的元数据，以应对许多复杂的组织数据挑战。 为什么需要现代元数据平台？ “为什么传统的元数据管理解决方案不够好？” 那么，为什么需要现代元数据平台呢？因为您的元数据可能与您的数据一样大和一样复杂，因此应该受到同样的尊重。 如何构建出色的现代元数据平台？ 简而言之，一个优秀的元数据平台看起来与一个优秀的数据平台非常相似。 除了 Kafka 外，还可以使用云存储（S3、GCS 等）作为缓冲区。使用云存储甚至比 Kafka 更好，不仅可以把运维成本交给云计算厂商，还可以拥有比 Kafka 更大和更久时间的数据存储。
83531编辑于 2022-03-11 - 来自专栏全栈程序员必看
大数据平台的元数据管理
概念解释 1，大数据平台——是指服务于大数据计算或存储的平台，包括大数据的计算集群(hive、spark、flink、storm等等)和存储集群(如hadoop、hbase等等)。 2，大数据平台涉及的元数据——由大数据作业的业务逻辑直接读写处理的业务数据，都不是元数据，除此之外的数据都是元数据。 对大数据开发平台来说，常见的元数据包括以下6点： 1，数据表的结构schema信息 （1） SQL或者NoSQL中的表视图信息，例如MySQL中可以通过SHOW CREATE TABLE table_name （1） 记录表数据占用的空间的大小以及增长趋势 （2） 新增了几张表、删除了几张表、创建了多少个分区 3，数据的读写记录 （1） 记录修改表的是什么人，以及什么时候修改的 （2） 记录哪些数据已经长时间没有被读取或更新了 （3） 具体数据的业务部门归属 （4） 每个数据表分别是由哪位开发者负责的 （5） 脚本逻辑的变迁记录、变迁原因 如何收集元数据 上述元数据信息大部分需要人工录入，但是最好是整合到业务开发流程中
1.3K10编辑于 2022-08-24 - 来自专栏大数据杂货铺
DataHub元数据治理平台架构
1.DataHub架构概述 DataHub 是第三代元数据平台，支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 1.1.2.基于流的实时元数据平台 DataHub 的元数据基础设施是面向流的，允许元数据的更改在几秒钟内在平台内进行通信和反映。 2.DataHub组件概述 DataHub 平台由下图所示的组件组成。 2.1.元数据存储 元数据存储负责存储构成元数据图的实体和方面。 2.2.元数据模型 元数据模型是定义构成元数据图的实体和方面的形状以及它们之间的关系的模式。 3.元数据摄取架构 DataHub 支持极其灵活的摄取架构，可以支持推、拉、异步和同步模型。下图描述了将您喜爱的系统连接到 DataHub 的所有可能选项。
3.2K10编辑于 2024-01-31 - 来自专栏杨建荣的学习笔记
运维平台元数据稽核小结
数据库运维中的元数据建设都是重中之重，如果元数据不具有参考的价值，那么后续的操作都会受到影响，但是元数据的建设也应该是分成几个步子来走，首先得能够收集到元数据或者元数据的录入，数据有了后续做规范和标准化才有依据 比如你看到的一个元数据列表类似下面的形式，假设有9个数据库实例，其实这个阶段你也会犯嘀咕，要拍胸脯说元数据妥妥的，那是主观片面的，我们怎么来验证，或者怎么发现元数据问题来修复。 第三个阶段其实是对于未知问题的把握，比如我们的元数据库中录入了100个实例，但是可能某个服务器上另外又部署了2个实例，在元数据中可能遗漏了。 整个对比就是一个全面的比较，元数据就是一个列表，系统中抓取的信息也是一个列表，两个列表互相对比，就能够得到一些差异的数据。 ，至于具体的信息可以进一步确认，总体来说，到了这个阶段，可以说元数据是基本值得信赖的了。
1.5K40发布于 2018-07-26 元数据管理平台（OpenMetaData）--元数据拾取能力演示
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 摘要： 本文档介绍如何在Linux服务器上部署Airflow服务，与openmetadata进行集成，后在openmetadata系统中实现对Airflow工作流数据的拾取以及数据库元数据的拾取。 • openmetadata：1.6.0 • airflow：2.9.1 元数据管理平台基于开源项目OpenMetaData建设 元数据管理平台OpenMetaData通过全面的元数据采集、强大的存储与检索 、深度的分析与治理、灵活的应用与共享、高扩展性与定制化以及直观的用户体验，为企业提供了一站式的元数据管理解决方案。 启动完成后，执行以下命令验证插件是否安装成功 32g004是我们的服务器域名 8100是我们的airflow webserver端口地址 出现如下信息表示安装成功 3、airflow元数据拾取 3.1
58210编辑于 2025-11-20数据管理最容易混淆的3个概念：元数据、数据元、元模型
我给你举个实际例子，比如公司数据库里有张“用户订单表”，它的元数据至少得包括这些：存哪儿了：服务器路径是/data/prod/order，用的是Parquet格式；啥时候更新：每天凌晨3点跑批，所以是T 比如“用户主数据”里：就包含“用户姓名”“身份证号”“手机号”等多个数据元，每个数据元都按标准定义，保证主数据的一致性。3.接口设计系统之间传数据，接口里的每个字段其实都是数据元。 比如用星型模型设计销售主题，元模型会规定：“事实表”必须包含度量字段（比如“销售额”）和外键（比如“用户ID”“商品ID”），“维度表”必须包含描述信息（比如“商品名称”“分类”）2.元数据管理平台平台本身也需要元模型来定义 3.低代码开发现在很多低代码平台里，拖拽一个“表单”组件就能生成数据库表，背后就是元模型在起作用。比如你选了“手机号”字段：平台根据元模型就知道要生成11位的字符串类型，还会自动加校验规则。 3.用数据时业务人员通过元数据找到需要的表，看数据元理解字段含义，比如“status”字段的取值规则，对照元模型明白表的设计逻辑。
3.4K11编辑于 2025-08-19- 来自专栏大数据杂货铺
DataHub元数据管理平台概述
这个可扩展的元数据平台专为开发人员构建，以应对快速发展的数据生态系统的复杂性，并帮助数据从业者充分利用组织内数据的总价值。 以下是 DataHub 当前功能的概述。 搜索和发现 搜索数据堆栈 DataHub 的统一搜索体验可跨数据库、数据湖、BI 平台、ML 特征存储、编排工具等显示结果 追踪端到端血缘 通过跟踪跨平台、数据集、ETL/ELT 管道、图表 查看元数据 360一目了然 结合技术和逻辑元数据，提供数据实体的 360° 视图。 3.域：精选的顶级文件夹或类别，广泛用于数据网格中，按部门（即财务、营销）或数据产品组织实体。 创建新策略时，您将能够定义以下内容： ·策略类型- 平台（顶级 DataHub 平台权限，即管理用户、组和策略）或元数据（操作所有权、标签、文档等的能力） ·资源类型- 指定资源类型，例如数据集、仪表板
1.8K10编辑于 2024-01-31 - 来自专栏大数据-BigData
B站大数据平台元数据业务分享
本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 随着数据平台业务规模的增长，平台会沉淀大量的数据表，调度任务等元数据。由于前期快速的业务发展产生大量数据管理成本，存储计算成本。 元数据基建 背景&目标 B站的数据平台元数据建设之初，由于对元数据的业务理解不够深入，人力投入有限，实现方案采用的是针对特定需求深度定制化。 系统总览 image.png 统一元数据-模型 元数据模型需要满足3点要求： 统一标识元数据资源 描述所有类型的元数据资源 描述上述各类元数据资源之间的各种类型关系 我们在这部分借鉴了业界的一些通用方案 对于一些非核心数据，或者存储更新不规范，无法批量取数的场景，也可以选用3的方式由业务自行上报。
1.4K21编辑于 2022-06-12 - 来自专栏大数据&分布式
大数据平台：统一元数据管理
背景介绍 元数据管理包括元数据采集、存储、管理及应用等关键环节，是数据治理的基础与核心。但元数据管理实践过程中通常会面临元数据来源众多且分散在不同系统中、元数据类型多样以及元数据频繁变更等问题。 更泛化理解，如图展示腾讯云数据湖的统一元数据架构：支持在线数据目录和离线数据治理的统一 元数据类型 元数据类型按照使用领域与功能可以分为：技术元数据、业务元数据、操作元数据、管理元数据 技术元数据：用于描述数据的技术信息 ：库、表、字段 M3层：元元模型，也是MOF自身所在的层次，定义了M2层元模型的结构和语义。 统一数据ID加工：元数据系统内部应生成唯一的数据ID，与原始平台的数据ID形成一对一的映射关系，便于元数据进行全流程追溯和适配不同平台。 ，为避免数据孤岛，企业内部通常会搭建统一元数据平台，将元数据汇总进行统一管理，对外提供统一服务，对内进行统一治理优化。
4K97编辑于 2024-05-21 全球最活跃3D模型平台接入腾讯混元！
全球活跃度第一的3D打印模型内容平台，牵手腾讯混元3D！ 拓竹科技旗下模型平台MakerWorld，即将全面接入腾讯混元3D生成模型——即便是零基础的小白用户，只需上传一张图或输入一段话，就能快速生成高质量3D模型。 拓竹科技是消费级3D打印技术的佼佼者，在全球和中国市场销售额均位列第一，旗下MakerWorld更是全球活跃度第一和模型增长最快的3D打印模型内容平台。 使用混元3D生成后打印的模型几天前的世界人工智能大会上，我们首发并开源了混元3D世界模型，混元3D家族再添新成员。 从秒级生成单个3D资产，到一键打造可漫游的3D世界，我们正一步步构建更加完善的3D内容生成生态。接下来，混元3D将继续快速迭代。
97320编辑于 2025-07-31- 来自专栏测试开发干货
数据工厂平台-3:首页超链接
当然是从数据库拿了。既然我们如此设计，那么第一步，就是去数据层设计数据表的结构。django默认自带sqlite3 数据库，它和sql数据库基本一致，只是轻量级，无需部署启动数据库服务等。 如果不执行，那么django 并不会去让你models.py中的设置去让sqlite3数据库中发生改变。 命令如下，我们直接在pycharm的终端执行这俩个命令。 django后台是django自带的控制管理 平台用户和数据的 一个页面。进入的路是什么呢？还记得我们urls.py中抄的那个人家自己生成的例子么？ 没错，这个admin就是后台的路由。 创建是通过命令创建，命令如下：python3 manage.py createsuperuser 然后我们重启服务 去后台试试登陆： 登陆成功了，我们看到了 用户 和 组 这俩个自带表。 而如果已经有一定基础的读者，那么可以自行去使用第二种方案打造一个企业级的平台，这样同样可以在本教程中得到设计的灵感和其他细节等技术知识，因为本教程的整个重后台轻前端的设计中，vue占总技术含量的比并不多
97320编辑于 2022-05-19 为啥 DeepSeek-3FS元数据无状态，CephFS 的 元数据 要搞得这么复杂？
，为什么 3FS文件系统 • 文件元数据存储到KV中 包括 文件目录项 和数据分布 • 3FS 文件元数据 无状态的，任意节点都查询。 • 文件目录关系 通过kv命名区分，记住存储kv数据库中。 • 3FS 文件元数据 无状态的，重启很简单。 文件属性获取 CHUNK:{inode}:{offset} chunk_id 数据块定位 3FS 使用 FoundationDB 作为其元数据的分布式存储系统。 3FS 将所有元数据以键值对的形式存储在 FoundationDB 中。 元服务采用无状态架构，允许管理员无缝升级或重启服务，无需中断，从而显著增强了可维护性。 四、面试官反问：节点故障, 扩容如何保证一致性 4.1 3FS 甩手掌柜 • 把文件才做 变成kv操作， • 然后保证kv操作一致性 元操作利用 FoundationDB 的事务： • 用于元数据查询的只读事务
34010编辑于 2025-10-10- 来自专栏实时流式计算
元数据管理平台Datahub2022年度回顾
元数据管理平台，Datahub在2022年有了巨大的发展。近期Datahub官方做了一下2022年的回顾，我这里也挑选一些有价值的内容跟大家分享一下。 所以我也在近期开通了大数据流动的视频号。以后也会在视频号中做Datahub的一些教程，功能展示，部署演示等等作品出来。 也希望大家多多关注 大数据流动视频号。这是我坚持下去的唯一动力！ 大数据流动视频号作品 《开源元数据管理平台Datahub2022年回顾》 在2022年中，Datahub的活跃度有了质的提升。 用户界面与业务联系更密切，页面更加友好，同时为开发人员提供更大的灵活性来与 DataHub 的 API 进行交互，并为为各种数据工具构建强大的集成支持。
84130编辑于 2023-03-24 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 基于元数据定义数据范式 M2：元模型层，是针对M1模型层的抽象，例如，Hive元模型可理解为Hive Metastore的相关表定义 M3：元元模型层 Hive Metastore 的元模型定义如下所示 通用数据模型：支持关系型数据源的数据治理，如MySQL、PG、Oracle等元数据管理； 备注：如果需考虑文件元数据等场景，需要对元模型扩展。
4.1K43编辑于 2024-05-14 - 来自专栏实时流式计算
一站式元数据治理平台——Datahub入门宝典
随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。 国内Datahub的资料非常少，大部分公司想使用Datahub作为自己的元数据管理平台，但可参考的资料太少。 所以整理了这份文档供大家学习使用。 可能是关系数据库或 NoSQL 存储中的表、实时流数据、 AI 系统中的功能、指标平台中的指标，数据可视化工具中的仪表板。 数据生态是多样的，而 DataHub提供了可扩展的元数据管理平台，可以满足数据发现，数据可观察与治理。这也极大的解决了数据复杂性的问题。 Datahub提供了丰富的数据源支持与血缘展示。 元数据信息中按照数据集，仪表板，图表等类型进行了分类。 再往下看是平台信息，在这当中包括了Hive，Kafka，Airflow等平台信息的收集。 下面其实是一些搜索的统计信息。
8.2K32编辑于 2022-01-04 数据治理决策指南：元数据平台自研与采购的真实成本账单
摘要：企业在数据治理中面临元数据平台“自研还是采购”的决策时，常因低估技术代差与隐性成本而陷入误区。 本文深度剖析了传统列级血缘与算子级血缘在解析精度、自动化能力上的代际鸿沟，并通过真实成本账单对比，揭示为何以算子级血缘为核心的主动元数据平台是实现DataOps、自动化盘点与风险规避的确定性选择。 —— 这段来自行业观察的总结，精准地戳中了企业在元数据平台建设决策中的核心矛盾。 Q3: 市场上很多工具都宣称有数据血缘，Aloudata BIG的“算子级”到底有什么不同？A3: 本质是精度与能力的代差。传统“列级血缘”只能模糊追溯字段来源，解析率低，无法处理复杂逻辑。 核心要点决策核心是权衡“技术代差”：元数据平台自研与采购的对比，本质是选择使用落后一代的“列级血缘”技术，还是直接应用前沿的“算子级血缘”技术。
17610编辑于 2026-02-05- 来自专栏大数据生态
StarRocks支持元数据加速桶配置（S3协议）
starrocks-2.2.2StarRocks 自带的cos jar包版本比较老（ hadoop-cos-2.8.5-5.9.3.jar、cos_api-bundle-5.6.35.jar），已经不支持访问开启元数据加速的存储桶 property> <name>fs.cosn.bucket.region</name> <value>ap-guangzhou</value> <description>需要修改为元数据加速的存储桶对应的地域 验证将SR中的数据拷贝到ofs上，参考命令如下：EXPORT TABLE customer TO "cosn://wangxpofsn-xxxx/export/customer/"WITH BROKER SHOW EXPORT; 来查看任务运行情况 ，运行完成后可以在相关的目录中看到文件图片参考： https://cloud.tencent.com/document/product/436/71550#3. -s3-.E5.8D.8F.E8.AE.AE.E8.AE.BF.E9.97.AE.E6.96.B9.E5.BC.8F.E5.BF.85.E5.A1.AB.E9.85.8D.E7.BD.AE.E9.A1.
1.9K70编辑于 2023-01-16 - 来自专栏数字孪生元宇宙
Omniverse：Nvidia的元宇宙开发平台
为了创造细节丰富且身临其境的 新的虚拟世界，创作者和开发者必须生成数量惊人的新数据和3D内容。但是，在使用当前的创建工具生成 3D 资产时，通常非常耗时且具有挑战性。 为了解决这个问题，开发人员需要创建对更多人来说更易于使用的新工具，这些工具利用人工智能和大数据来快速生成大量内容。此外，所有内容都需要以开放的格式存储，并实现轻松的互操作性。 image.png NVIDIA Omniverse是一个参考开发平台，从零开始构建，可通过模块化开发框架轻松扩展和自定义。 虽然最终用户和内容创建者利用Omniverse 平台来连接和加速他们的 3D 工作流程，但开发人员可以插入 Omniverse 堆栈的平台层，以便在Omniverse Kit上轻松构建扩展、应用程序和微服务 ---- 原文链接：Omniverse ：开发人员的元宇宙 — BimAnt
1.2K30发布于 2021-11-21 - 来自专栏实时计算
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
元数据管理平台层出不穷，但目前主流的还是Atlas、Datahub、Openmetadata三家，那么我们该如何选择呢？ 本文就带大家对比一下。要了解元数据管理平台，先要从架构说起。 毫无疑问，从活跃度和发展趋势来看，Datahub都是目前最炙手可热的元数据管理平台。Openmatadata更有数据治理、数据资产管理平台的样子。而Atlas和Hadoop联系紧密，也有自己优势。 原生支持所有组件的元数据管理平台是不存在的。但是好在元数据管理平台都提供了丰富的API接口，是可以扩展的。 所以在对数据源梳理后，并结合上面元数据管理平台的特性，可以做出基本的选择。 二开这里简单说一下，如果是元数据管理平台+数据治理工具的组合，建议选择Datahub基本可以覆盖所有的元数据管理功能，也有很好的扩展性。 而如果想选择一个平台大而全，可以考虑在Openmetadata基础上二开，毕竟支持的功能多一些。 3、可行性 虽然完事具备，但是能不能实行，其实并不一定。实现元数据管理的难度巨大。
3.4K20编辑于 2024-01-10 - 来自专栏华章科技
大数据平台的3个核心功能
导读：大数据平台可以分为操作数据存储（ODS）、数据仓库（DW）和数据集市（DM）三层，分别对应着数据清洗、数据管理和数据应用这三个核心功能。 在业务系统和数据仓库之间做了隔离，将业务系统产生的原始数据备份的同时，保证了两个系统之间数据的一致性。 存储了业务侧的明细数据，方便后续的查询和加工以及报表的产出。 03 数据标签应用 整个数据平台的最上层是数据集市（Data Market，DM），也是与风控人员联系最紧密的一层。 顾名思义，数据集市就是将数据仓库中的主题数据根据不同的业务需要挑选出来，构成特定的业务场景标签。 最后想补充说明的是，由于大数据平台的计算链条较长，且充斥着大量的数据处理步骤，在实际生产中平台的监控和预警机制至关重要，例如对于上下游依赖关系的判断、每个时间分区数据量的监控、邮件和短信报警等，都是把控数据准确性和时效性的必要手段
87410发布于 2021-04-20
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号