- 综合排序
- 最热优先
- 最新优先
- 来自专栏鸿的学习笔记
现代元数据平台
元数据管理很多年前就有了，比如很多公司会拿Excel或者是文本存储数据仓库里所有的表结构，以方便大家查询。但是现代元数据平台与传统的元数据管理有什么区别呢？ 它是一个平台，可大规模集成、处理和提供丰富的元数据，以应对许多复杂的组织数据挑战。 为什么需要现代元数据平台？ “为什么传统的元数据管理解决方案不够好？” 那么，为什么需要现代元数据平台呢？因为您的元数据可能与您的数据一样大和一样复杂，因此应该受到同样的尊重。 如何构建出色的现代元数据平台？ 简而言之，一个优秀的元数据平台看起来与一个优秀的数据平台非常相似。 总结 这篇文章可以视为一个新概念的开端，阐述了领英的元数据团队对于现代元数据平台的理解，算是对传统的元数据管理很好补充。
83531编辑于 2022-03-11 - 来自专栏全栈程序员必看
大数据平台的元数据管理
概念解释 1，大数据平台——是指服务于大数据计算或存储的平台，包括大数据的计算集群(hive、spark、flink、storm等等)和存储集群(如hadoop、hbase等等)。 2，大数据平台涉及的元数据——由大数据作业的业务逻辑直接读写处理的业务数据，都不是元数据，除此之外的数据都是元数据。 2，怎样发挥元数据的价值——元数据信息通过服务的形式(例如REST接口)提供给上下游系统使用。 哪些数据纳入元数据管理 这个问题也就是元数据管理到底是管理什么。 对大数据开发平台来说，常见的元数据包括以下6点： 1，数据表的结构schema信息 （1） SQL或者NoSQL中的表视图信息，例如MySQL中可以通过SHOW CREATE TABLE table_name ——如果某数据有问题，可检查它的上游数据以便定位问题；也有助于理清处理这些数据的任务之间是如何互相依赖的 6，数据的业务属性 （1） 数据表做什么用的 （2） 数据表中各个字段的业务含义、统计方式
1.3K10编辑于 2022-08-24 - 来自专栏大数据杂货铺
DataHub元数据治理平台架构
1.DataHub架构概述 DataHub 是第三代元数据平台，支持为现代数据堆栈构建的数据发现、协作、治理和端到端可观察性。 1.1.2.基于流的实时元数据平台 DataHub 的元数据基础设施是面向流的，允许元数据的更改在几秒钟内在平台内进行通信和反映。 2.DataHub组件概述 DataHub 平台由下图所示的组件组成。 2.1.元数据存储 元数据存储负责存储构成元数据图的实体和方面。 2.2.元数据模型 元数据模型是定义构成元数据图的实体和方面的形状以及它们之间的关系的模式。 3.1.元数据变更提案：核心部分 摄取的核心部分是元数据更改提案，它表示对组织的元数据图进行元数据更改的请求。元数据更改建议可以通过 Kafka 发送，以便从源系统进行高度可扩展的异步发布。
3.2K10编辑于 2024-01-31 - 来自专栏杨建荣的学习笔记
运维平台元数据稽核小结
数据库运维中的元数据建设都是重中之重，如果元数据不具有参考的价值，那么后续的操作都会受到影响，但是元数据的建设也应该是分成几个步子来走，首先得能够收集到元数据或者元数据的录入，数据有了后续做规范和标准化才有依据 比如你看到的一个元数据列表类似下面的形式，假设有9个数据库实例，其实这个阶段你也会犯嘀咕，要拍胸脯说元数据妥妥的，那是主观片面的，我们怎么来验证，或者怎么发现元数据问题来修复。 第三个阶段其实是对于未知问题的把握，比如我们的元数据库中录入了100个实例，但是可能某个服务器上另外又部署了2个实例，在元数据中可能遗漏了。 或者说服务器上运行着5个实例，但是在元数据里面是6个实例，因为之前做的都是ssh是否可达的校验，这一层的校验目前还是空白。 所以零零散散的拼接起来，大体就是下面的几类问题了。 ? 整个对比就是一个全面的比较，元数据就是一个列表，系统中抓取的信息也是一个列表，两个列表互相对比，就能够得到一些差异的数据。
1.5K40发布于 2018-07-26 元数据管理平台（OpenMetaData）--元数据拾取能力演示
AllData大数据产品是可定义数据中台，以数据平台为底座，以数据中台为桥梁，以机器学习平台为中层框架，以大模型应用为上游产品，提供全链路数字化解决方案。 摘要： 本文档介绍如何在Linux服务器上部署Airflow服务，与openmetadata进行集成，后在openmetadata系统中实现对Airflow工作流数据的拾取以及数据库元数据的拾取。 • openmetadata：1.6.0 • airflow：2.9.1 元数据管理平台基于开源项目OpenMetaData建设 元数据管理平台OpenMetaData通过全面的元数据采集、强大的存储与检索 、深度的分析与治理、灵活的应用与共享、高扩展性与定制化以及直观的用户体验，为企业提供了一站式的元数据管理解决方案。 默认使用本机的sqlite存储，官方建议修改为 mysql 数据库 2.4.4 auth_backends 要让openmetadata支持airflow元数据拾取需要修改该配置为 2.5 初始化数据库
58210编辑于 2025-11-20- 来自专栏大数据杂货铺
DataHub元数据管理平台概述
这个可扩展的元数据平台专为开发人员构建，以应对快速发展的数据生态系统的复杂性，并帮助数据从业者充分利用组织内数据的总价值。 以下是 DataHub 当前功能的概述。 搜索和发现 搜索数据堆栈 DataHub 的统一搜索体验可跨数据库、数据湖、BI 平台、ML 特征存储、编排工具等显示结果 追踪端到端血缘 通过跟踪跨平台、数据集、ETL/ELT 管道、图表 查看元数据 360一目了然 结合技术和逻辑元数据，提供数据实体的 360° 视图。 创建新策略时，您将能够定义以下内容： ·策略类型- 平台（顶级 DataHub 平台权限，即管理用户、组和策略）或元数据（操作所有权、标签、文档等的能力） ·资源类型- 指定资源类型，例如数据集、仪表板 通过最大限度地减少操作自定义集成管道所需的开销，可以更轻松地将元数据导入 DataHub。 原文链接：https://datahubproject.io/docs/features
1.8K10编辑于 2024-01-31 - 来自专栏大数据-BigData
B站大数据平台元数据业务分享
本期作者 沈汪洋 哔哩哔哩资深开发工程师 负责B站数据平台工具侧元数据、数据运营、数据管理等业务方向，专注于元数据采集、血缘应用、数据地图、建模工具、治理工具等工具或产品功能的落地和推广。 背景介绍 元数据是数据平台的衍生数据，比如调度任务信息，离线hive表，实时topic，字段信息，存储信息，质量信息，热度信息等。 随着数据平台业务规模的增长，平台会沉淀大量的数据表，调度任务等元数据。由于前期快速的业务发展产生大量数据管理成本，存储计算成本。 元数据基建 背景&目标 B站的数据平台元数据建设之初，由于对元数据的业务理解不够深入，人力投入有限，实现方案采用的是针对特定需求深度定制化。 目前建立10+元数据采集上报方，接入实体类型16种，关系类型10种，其中Hive正式表数量6W+，各类任务数量11W+。
1.4K21编辑于 2022-06-12 - 来自专栏大数据&分布式
大数据平台：统一元数据管理
背景介绍 元数据管理包括元数据采集、存储、管理及应用等关键环节，是数据治理的基础与核心。但元数据管理实践过程中通常会面临元数据来源众多且分散在不同系统中、元数据类型多样以及元数据频繁变更等问题。 更泛化理解，如图展示腾讯云数据湖的统一元数据架构：支持在线数据目录和离线数据治理的统一 元数据类型 元数据类型按照使用领域与功能可以分为：技术元数据、业务元数据、操作元数据、管理元数据 技术元数据：用于描述数据的技术信息 提供了构建元模型的语言和工具，例如包、类等 元数据管理 常规的元数据管理流程可分为如下5个步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。 统一数据ID加工：元数据系统内部应生成唯一的数据ID，与原始平台的数据ID形成一对一的映射关系，便于元数据进行全流程追溯和适配不同平台。 ，为避免数据孤岛，企业内部通常会搭建统一元数据平台，将元数据汇总进行统一管理，对外提供统一服务，对内进行统一治理优化。
4K97编辑于 2024-05-21 - 来自专栏测试开发干货
(简易)测试数据构造平台: 6 (首页部分)
答：需要一个数据列表，需要一个元素dom，然后循环这个数据列表来循环生成多个元素dom 来展示出来。 实现 构造一个数据列表 构造展示的元素dom并循环： 启动本地调试：npm run serve 然后打开浏览器，进入8080端口的本地地址，看看效果： 大家注意到，已经成功展示了 接下来，我们要升级难度，把这个普通的数据列表，改成字典元素列表，这样的好处是，每个工具都可以包含名称在内的多个属性，比如构造时间等。 data属性内修改如下： 然后dom层修改为： 效果如下： 大家先不用考虑这些数据从哪里来，这些数据我们后面都是要从接口的方式去django后台服务上拿到，而后台是去数据库中提取的。
52920编辑于 2022-05-20 - 来自专栏云开发
6元解决网站托管烦恼！
云开发网站托管资源包、DNS解析套餐，通通只需 6 元！更有精选域名低至 1 元起！如此高效、便捷、优惠 ，快扫描下方海报中二维码或点击文末阅读原文申请吧！ 此外，您还可以结合云开发的云函数、数据库等能力，将静态网站扩展为带有后台服务端的全栈网站，让您可极速提供网站应用。 多能力保驾护航，快速拓展 用户可联合云开发的云函数、数据库等能力，在前端 JavaScript 文件中直接调用这些后台服务资源，从而将您的静态网站快速扩展为全栈型网站，帮助带有 CMS 内容管理系统的内容型网站 云开发托管网站资源包 原价146.4元/年，特惠价只需 6 元！ 云开发静态网站托管采用按量计费模式，开发者用多少付多少，无需为不使用的时间支付费用，节约成本，对于开发者更友好。
2.3K40发布于 2020-08-14 - 来自专栏腾讯云 DNSPod 团队
6元解决网站托管烦恼！
为您低价打造开通云开发托管、注册域名、解析域名&配置证书、 绑定域名一站式服务 云开发网站托管资源包、DNS解析套餐， 通通只需6元！ 更有精选域名低至1元起！ 此外，您还可以结合云开发的云函数、数据库等能力，将静态网站扩展为带有后台服务端的全栈网站，让您可极速提供网站应用。 多能力保驾护航，快速拓展 用户可联合云开发的云函数、数据库等能力，在前端 JavaScript 文件中直接调用这些后台服务资源，从而将您的静态网站快速扩展为全栈型网站，帮助带有 CMS 内容管理系统的内容型网站 云开发托管网站资源包 原价146.4元/年，特惠价只需6元！ 云开发静态网站托管采用按量计费模式，开发者用多少付多少，无需为不使用的时间支付费用，节约成本，对于开发者更友好。
2.1K30发布于 2020-08-17 - 来自专栏信数据得永生
Python 元学习实用指南：6~10
元学习是元学习的重点，我们知道，在元学习中，我们从仅包含少量数据点的各种相关任务中学习，并且元学习器会产生一个可以很好地概括新的相关任务的快速学习器，即使训练样本数量较少。 我们可以重用演示数据并从几个相关任务中学习以快速学习新任务吗？ 因此，我们将元学习和模仿学习相结合，形成元模仿学习（MIL）。 因此，当我们对一批任务以及每个任务中的一些k数据点进行采样时，我们将使用深度神经网络学习每个k数据点的表示形式，然后对这些表示进行元学习。 我们的框架包含三个组件： 概念生成器 概念判别器 元学习器 概念生成器的作用是提取数据集中每个数据点的特征表示，捕获其高级概念，概念判别器的作用是识别和分类由概念生成器生成的概念，而元学习器学习由概念生成器生成的概念 第 6 章：MAML 及其变体 MAML 是最近引入且最常用的元学习算法之一，它已导致元学习研究取得重大突破。
91110编辑于 2023-04-24 - 来自专栏实时流式计算
元数据管理平台Datahub2022年度回顾
元数据管理平台，Datahub在2022年有了巨大的发展。近期Datahub官方做了一下2022年的回顾，我这里也挑选一些有价值的内容跟大家分享一下。 所以我也在近期开通了大数据流动的视频号。以后也会在视频号中做Datahub的一些教程，功能展示，部署演示等等作品出来。 也希望大家多多关注 大数据流动视频号。这是我坚持下去的唯一动力！ 大数据流动视频号作品 《开源元数据管理平台Datahub2022年回顾》 在2022年中，Datahub的活跃度有了质的提升。 用户界面与业务联系更密切，页面更加友好，同时为开发人员提供更大的灵活性来与 DataHub 的 API 进行交互，并为为各种数据工具构建强大的集成支持。
84130编辑于 2023-03-24 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 通用数据模型：支持关系型数据源的数据治理，如MySQL、PG、Oracle等元数据管理； 备注：如果需考虑文件元数据等场景，需要对元模型扩展。 ，获取元数据信息； 对于特殊组件，如Hive，可实现组件Hook，基于PUSH主动上报 业务元数据支持PUSH主动上报 异构采集触发：基于消息中间件，解耦元数据的采集过程和处理过程； 元数据推断 元数据推断
4.1K43编辑于 2024-05-14 - 来自专栏实时流式计算
一站式元数据治理平台——Datahub入门宝典
随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。 国内Datahub的资料非常少，大部分公司想使用Datahub作为自己的元数据管理平台，但可参考的资料太少。 所以整理了这份文档供大家学习使用。 正文共： 10289字 32图 预计阅读时间： 26分钟 文档共分为6个部分，层级结构如下图所示。 文档版权为公众号 大数据流动 所有，请勿商用。 数据生态是多样的，而 DataHub提供了可扩展的元数据管理平台，可以满足数据发现，数据可观察与治理。这也极大的解决了数据复杂性的问题。 Datahub提供了丰富的数据源支持与血缘展示。 元数据信息中按照数据集，仪表板，图表等类型进行了分类。 再往下看是平台信息，在这当中包括了Hive，Kafka，Airflow等平台信息的收集。 下面其实是一些搜索的统计信息。
8.2K32编辑于 2022-01-04 - 来自专栏测试开发干货
数据工厂平台-6：继续VUE和DJANGO的踩坑
但是如果不用vue-cli，那就只能用vue.js，也就是在html模板页面内引入vue.js，来实现dom和bom的数据交互。 抛开前端的数据框架和项目架构，来从产品上考虑下数据工厂的实现： 有俩种方案： 你作为主要实现者，作为唯一测试开发，接收各种需求，来快速实现这种造数据的功能 你作为测试架构，服务于全体测开和测试。 这里我们用[[ ]] 来代替原始的{{ }} 来避免 dom层获取数据的时候，从后台直接拿，而不是从vue函数里拿。 截止到现在， 我们成功让views.py从数据库拿出数据 传递给前端的vue，vue又成功把数据显示到了Dom层 也就显示在了浏览器上。 现在我们来引进一个bootstrap3的顶部菜单。 host:8000进去的，所以我们一会要想从平台域名+路由进去，那么需要改这个文件内的很多导入其他文件的 相对路径。
2.2K10编辑于 2022-05-19 数据治理决策指南：元数据平台自研与采购的真实成本账单
摘要：企业在数据治理中面临元数据平台“自研还是采购”的决策时，常因低估技术代差与隐性成本而陷入误区。 本文深度剖析了传统列级血缘与算子级血缘在解析精度、自动化能力上的代际鸿沟，并通过真实成本账单对比，揭示为何以算子级血缘为核心的主动元数据平台是实现DataOps、自动化盘点与风险规避的确定性选择。 —— 这段来自行业观察的总结，精准地戳中了企业在元数据平台建设决策中的核心矛盾。 第三代：主动元数据平台。这是当前的技术前沿，以 DataOps 理念为核心，强调“主动感知、主动分析、主动预警”。其技术基石正是 算子级血缘 (Operator-level Lineage)。 核心要点决策核心是权衡“技术代差”：元数据平台自研与采购的对比，本质是选择使用落后一代的“列级血缘”技术，还是直接应用前沿的“算子级血缘”技术。
17610编辑于 2026-02-05- 来自专栏数字孪生元宇宙
Omniverse：Nvidia的元宇宙开发平台
为了创造细节丰富且身临其境的 新的虚拟世界，创作者和开发者必须生成数量惊人的新数据和3D内容。但是，在使用当前的创建工具生成 3D 资产时，通常非常耗时且具有挑战性。 为了解决这个问题，开发人员需要创建对更多人来说更易于使用的新工具，这些工具利用人工智能和大数据来快速生成大量内容。此外，所有内容都需要以开放的格式存储，并实现轻松的互操作性。 image.png NVIDIA Omniverse是一个参考开发平台，从零开始构建，可通过模块化开发框架轻松扩展和自定义。 虽然最终用户和内容创建者利用Omniverse 平台来连接和加速他们的 3D 工作流程，但开发人员可以插入 Omniverse 堆栈的平台层，以便在Omniverse Kit上轻松构建扩展、应用程序和微服务 ---- 原文链接：Omniverse ：开发人员的元宇宙 — BimAnt
1.2K30发布于 2021-11-21 - 来自专栏实时计算
元数据管理平台对比预研 Atlas VS Datahub VS Openmetadata
元数据管理平台层出不穷，但目前主流的还是Atlas、Datahub、Openmetadata三家，那么我们该如何选择呢？ 本文就带大家对比一下。要了解元数据管理平台，先要从架构说起。 毫无疑问，从活跃度和发展趋势来看，Datahub都是目前最炙手可热的元数据管理平台。Openmatadata更有数据治理、数据资产管理平台的样子。而Atlas和Hadoop联系紧密，也有自己优势。 相信读到这篇文章的人，大部分还是想做一个元数据管理平台，以开展企业的数据治理工作。如果学习过DAMA的数据治理体系，我们应该知道做元数据管理要梳理好数据源都在哪，并尽可能的管理公司的全量数据。 原生支持所有组件的元数据管理平台是不存在的。但是好在元数据管理平台都提供了丰富的API接口，是可以扩展的。 所以在对数据源梳理后，并结合上面元数据管理平台的特性，可以做出基本的选择。 二开这里简单说一下，如果是元数据管理平台+数据治理工具的组合，建议选择Datahub基本可以覆盖所有的元数据管理功能，也有很好的扩展性。
3.4K20编辑于 2024-01-10 - 来自专栏实时流式计算
一体化元数据管理平台——OpenMetadata入门宝典
一、开源元数据管理平台 元数据管理是企业全面开展数据治理的起点。各种元数据管理工具，元数据管理平台也层出不穷。 开源的元数据管理平台很多。 开源元数据管理平台是一种用于收集、存储和管理数据的工具，它们提供了一种可扩展的方式来组织和维护数据的元数据信息。 以下是一些常见的开源元数据管理平台： Apache Atlas：Apache Atlas是一个开源的大数据元数据管理和数据治理平台，旨在帮助组织收集、整理和管理数据的元数据信息。 它提供了丰富的元数据模型和搜索功能，可以与各种数据存储和处理平台集成。 LinkedIn DataHub：LinkedIn DataHub是LinkedIn开源的元数据搜索和发现平台。 这些开源元数据管理平台都提供了各种功能，如元数据存储、搜索、浏览、数据资产关系管理、数据血统跟踪等，帮助组织更好地管理和利用数据的元数据信息。
15.6K40编辑于 2023-08-09
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号