- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据那些事
hive（4）——元数据概述
前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据，那我们用mysql到底是存储的什么，元数据到底是什么？ 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集，比如说我去查看我的mysql上的元数据到底长什么样 （1）先进入hive数据库（此数据库事先已经创建好，在hive的配置文件中我们已经设置好 （2）进入hive数据库 ? （3）查看此数据库里面的表 ? DBS表是一个关键的表，查看它： ? 这里就可以看见这份数据在hdfs中的位置 TBLS表 ? ?
86840发布于 2020-11-11 致数仓架构师：别再用 Excel 维护数据字典，主动元数据才是正解
Gartner等权威机构已明确指出，主动元数据是数据管理现代化的核心。 二、核心差异对比：传统工具vs主动元数据平台Excel和传统血缘工具（表级/列级）在解析精度、颗粒度和管理模式上存在根本性缺陷，而基于算子级血缘的主动元数据平台实现了从“依赖关系”到“加工逻辑理解”的质变 六、常见问题(FAQ)Q1:我们数仓里有大量存储过程和复杂嵌套SQL，主动元数据平台能准确解析吗？可以。 Q3:除了金融行业，其他行业的数仓治理也适用主动元数据吗？完全适用。“看不清依赖链路”是各行业数仓的共性痛点。 无论是制造、零售还是电信行业，只要存在复杂的数据加工链路，主动元数据平台作为DataOps的基石，都能提供通用的数据链路可观测性和自动化治理能力。Q4:“行级裁剪”这个功能具体能解决什么实际问题？
6410编辑于 2026-04-16数据治理新解法：基于算子级血缘的主动元数据如何破解数仓重构难题？
文章结合招商银行、浙江农商联合银行等标杆案例，展示了主动元数据平台在自动化盘点、DataOps协同及模型治理等场景下的落地路径与量化价值。 管理模式被动、静态的元数据管理。仅记录数据结构的静态快照，缺乏对数据流动、加工逻辑和变更影响的实时感知与主动干预能力，与 DataOps 所要求的自动化、协同化严重脱节。 四、 落地路径：从“看清”到“管好”的四步实践借助主动元数据平台，企业可以构建一套闭环的数据管理能力，让数仓重构从临时的“运动式”项目，转变为可持续的“常态化”机制。 五、 价值验证：标杆客户如何用“手术刀”完成高难度重构金融行业头部客户的实践，为算子级血缘与主动元数据的价值提供了最有力的量化证明。 主动元数据驱动治理闭环：从自动化盘点、主动风控到模型治理、DataOps协同，构建了可持续的、常态化的数据管理能力。
18310编辑于 2026-02-12一行代码改崩 20 张报表：主动元数据如何实现「事前感知」？
本文将深入剖析这一问题的根源，并介绍如何通过算子级血缘和主动元数据技术，实现变更风险的“事前感知”与精准防控。 、主动风险防控三、新范式：以算子级血缘为基石的主动风险防控破解困局的关键在于将元数据从“被动记录”升级为“主动驱动”。 事中（调度执行）：与调度系统集成，实时监控与拦截生产环境的元数据异常变更。事后（故障排查）：基于精准血缘图谱快速定位数据异常根因，将排查时间从“小时级”缩短至“分钟级”。 四、落地路径：四步构建主动管控体系企业可以遵循以下路径，逐步构建主动式数据变更管控体系：连接与解析：对接 Hive、Spark、Oracle、DB2、GaussDB 等全域数据平台，自动采集 SQL 与 Q4: 实施周期会不会很长？通常较短。可以从最迫切的变更风险防控场景切入，优先对接核心数据平台和代码仓库。几周内即可完成初步对接，并在代码提交环节立即看到影响分析报告，价值呈现快速。
10310编辑于 2026-03-27- 来自专栏DeepHub IMBA
细胞图像数据的主动学习
主动学习是机器学习中的一种方法，它提供了一个框架，根据模型已经看到的标记数据对未标记的数据样本进行优先排序。如果想 细胞成像的分割和分类等技术是一个快速发展的领域研究。 使用主动学习——展示一个模拟使用主动学习和不使用主动学习的对比实验。 细胞图像预处理 我们将使用在MIT许可的血细胞图像数据集（GitHub和Kaggle）。 对于这4种白细胞(嗜酸性粒细胞、淋巴细胞、单核细胞和中性粒细胞)还有附加的标签，但在本文的研究中没有使用这些标签。 主动学习 我们现在已经有了训练需要的搜有数据，现在可以开始试验使用主动学习策略是否可以通过更少的数据标记获得更高的准确性。 如果我们使用所有数据，那么它们最终分数是相同的，但是我们的研究目的是在少量标注数据的前提下训练，所以只使用了数据集中的300个随机样本。 总结 本文展示了将主动学习用于细胞成像任务的好处。
76020编辑于 2022-11-11 - 来自专栏数据派THU
细胞图像数据的主动学习
为了解决这个问题，机器学习领域出现了一个叫做主动学习的领域。主动学习是机器学习中的一种方法，它提供了一个框架，根据模型已经看到的标记数据对未标记的数据样本进行优先排序。 使用主动学习——展示一个模拟使用主动学习和不使用主动学习的对比实验。 细胞图像预处理 我们将使用在MIT许可的血细胞图像数据集（GitHub和Kaggle）。 对于这4种白细胞(嗜酸性粒细胞、淋巴细胞、单核细胞和中性粒细胞)还有附加的标签，但在本文的研究中没有使用这些标签。 主动学习 我们现在已经有了训练需要的搜有数据，现在可以开始试验使用主动学习策略是否可以通过更少的数据标记获得更高的准确性。 如果我们使用所有数据，那么它们最终分数是相同的，但是我们的研究目的是在少量标注数据的前提下训练，所以只使用了数据集中的300个随机样本。 总结 本文展示了将主动学习用于细胞成像任务的好处。
53930编辑于 2022-08-29 - 来自专栏AI科技大本营的专栏
400名微软员工主动曝光薪资：28万元到228万元不等！
来源 | CSDN（ID：CSDNnews） 【导读】近日，近400名微软员工分享了他们的薪酬（从4万美元到32万美元不等，约为28万人民币到228万人民币），目的是更好地确定他们的薪酬是否公平—— 微软的员工的职级从59级到80级，而亚马逊员工的职级为L4-L10，Facebook员工的职级则为E3到E9。 登记了这份电子表格的员工中，有一名员工是位于华盛顿州的62级软件工程师。 根据该电子表格的数据，虽然现金奖励在微软员工职业生涯中保持相对稳定的工资百分比，但股票收入可以涨到年收入的20%。 虽然这份数据无法表明这种策略，但常常有经验较少的人跳到更高的职级。 虽然关于在印度工作的微软工程师的数据非常少，但这份收集到的数据显示，他们的薪酬远低于位于华盛顿的同行们。 “大部分因素都是利他主义，”在谈起人们为什么会为Levels.fyi贡献数据时，Musa表示， “我认为，大家之所以很支持只是因为我们需要这些信息。”
3.1K10发布于 2019-09-26 金融数据治理新范式：如何用算子级血缘与主动元数据 10分 钟定位 EAST 报送异常？
本文探讨如何通过基于AST深度解析的算子级血缘（>99%准确率）与主动元数据能力，结合行级裁剪与实时监控，将异常定位从“天”级缩短至“分钟”级，实现从事后“救火”到事中“防火”的数据治理与DataOps 三、新范式：基于算子级血缘的主动根因定位以 Aloudata BIG 为代表的主动元数据平台，通过 >99% 解析准确率的算子级血缘为基座，结合主动监控与智能分析，从根本上改变了游戏规则。1. 主动监控与智能关联：从被动响应到主动预警主动元数据能力体现在：实时监控：任务调度状态、数据产出时效、关键表的数据质量规则。 五、实施建议：构建主动数据风险防控体系企业可遵循以下三步路径，在 EAST 等关键场景中快速落地主动元数据能力：基座先行：优先接入核心数仓（Hive, Oracle, GaussDB）、ETL/ELT 二是链路覆盖：初步构建起关键业务数据（如 EAST 相关数据）的端到端血缘图谱。三是流程配合：将主动元数据平台的预警与定位能力，与运维值班、数据研发团队的处置流程相结合，形成闭环。
16510编辑于 2026-02-03- 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 ，元数据采集可分为两种类型： 元数据推断：通过读取并解析存储系统的数据文件，自动识别和推断该数据文件对应的Schema信息； 元数据Crawler：主要通过PULL方式主动定时的周期性拉取元数据信息；同时也支持引擎以 ，获取元数据信息； 对于特殊组件，如Hive，可实现组件Hook，基于PUSH主动上报 业务元数据支持PUSH主动上报 异构采集触发：基于消息中间件，解耦元数据的采集过程和处理过程； 元数据推断 元数据推断 PULL主动采集：元数据管理系统定时周期性采集，采集周期应支持设定，以适配数据源差异化的更新频率； PUSH被动采集：由人工发起或外部系统通过API主动上报，人工发起时，可以采用手动上传元数据文件或主动启动采集任务的方式来完成
4.1K43编辑于 2024-05-14 - 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 如果您对某些表具有大量索引感到怀疑，那么可以使用下面查询，该查询告诉您具有超过4个索引和索引计数超过列计数一半的表。它是一种任意选择具有大量索引的表的方法。 --超过4个索引的表 --索引个数超过列数一半 SELECT object_schema_name(TheIndexes.Object_ID) + '. 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.3K10编辑于 2023-02-25 - 来自专栏别先生
Spark的Streaming + Flume进行数据采集（flume主动推送或者Spark Stream主动拉取）
sources = r1 a1.channels = c1 a1.sinks = k1 # Describe/configure the source 描述和配置source组件：r1 #类型, 从网络端口接收数据 ,在本机启动, 所以localhost, type=spoolDir采集目录源,目录里有就采 #type是类型，是采集源的具体实现，这里是接受网络端口的，netcat可以从一个网络端口接受数据的。 wctotal.log a1.sources.r1.shell = /bin/bash -c # Describe the sink 描述和配置sink组件：k1 #type，下沉类型，使用logger，将数据打印到屏幕上面 #下沉的时候是一批一批的, 下沉的时候是一个个eventChannel参数解释： #capacity：默认该通道中最大的可以存储的event数量，1000是代表1000条数据。
1.5K50发布于 2018-05-16 - 来自专栏大数据架构师成长之路
元数据解读
元数据生命周期 笔者这里以集中式元数据架构为例讲解，通过对数据源系统的元数据信息采集，发送Kafka消息系统进行解耦合，再使用Antlr4开发各版SQL解析器，对元数据信息新增、修改和删除操作进行标准化集中整合存储 一般采集Elasticsearch做元数据信息检索和Neo4J做血缘关系的数据地图。 如果多种计算引擎就使用上述笔者给出技术架构图，通过对不同存储和计算引擎监听动作，使用Antlr4开发各版本SQL解析工具，动态识别元数据信息变更、删除和新增实时或准实时生成集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系 通过从语法树遍历解析后存储Neo4j图数据 影响度分析 影响度分析，也是较为血缘关系应用的一部分，其用来分析数据的下游流向。 统一SQL路由引擎是使用Antlr4实现的词法文件，具体实现可参考Antlr4实战：统一SQL路由多引擎。
1.6K51发布于 2020-06-10 数据管理最容易混淆的3个概念：元数据、数据元、元模型
做数据这行的，肯定常听到“元数据”“数据元”“元模型”这三个词。开会时有人说“元数据管理”，转头又有人提“数据元标准”，偶尔还穿插“元模型设计”，但真要问它们仨到底啥区别，估计不少人说不清楚。 一、元数据：描述“数据”本身的信息说白了，元数据就是“关于数据的数据”。 那么元数据到底有啥用？简单说，元数据就是帮你解决“数据从哪儿来、能干啥、怎么用”这三个问题的：实际工作中怎么用元数据的？ 比如FineDataLink中要管理“表元数据”和“字段元数据”，元模型就会规定：每个“表元数据”必须关联多个“字段元数据”，每个“字段元数据”必须包含“名称”“类型”“长度”这些信息。 4.治理数据时通过元数据监控表的变更，用数据元校验数据质量，按元模型检查模型是否合规，比如事实表没加外键。总结元数据、数据元、元模型这三个概念，看着有点绕，但其实都是数据治理的基础。
3.4K11编辑于 2025-08-19- 来自专栏大数据和云计算技术
元数据概念
刘耀铭同学元数据系列作品的第一篇，大家支持！ 其他元数据相关系列文章： 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）,用于提供某种资源有关信息的结构化数据（structed 字面上看无法看出所以然，但其实看对应的英文含义就明确了，Meta指“对······的描述”类似Meta tag，所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为3类：DBMS数据字典、ETL处理流程产生的日志、BI建模等。 DBMS数据字典 数据库管理系统（DBMS）中的元数据一般在所有的数据仓库都会包含，因为数据仓库一般都是基于数据库搭建的，而数据库本身的管理系统就会自动维护一套数据字典供用户查询。
1.5K110发布于 2018-03-08 - 来自专栏iOS打包，上架知识大全
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
82310编辑于 2023-05-05 - 来自专栏阮一峰的网络日志
元数据（MetaData）
元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。 这个例子中的"年龄"、"身高"、"相貌"、"性格"，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。 当然，这几个元数据用来刻画个人状况还不够精确。 我们每个人从小到大，都填过《个人情况登记表》之类的东西吧，其中包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等......这一套元数据才算比较完备。 在日常生活中，元数据无所不在。 有一类事物，就可以定义一套元数据。 喜欢拍摄数码照片的朋友应该知道，每张数码照片都包含EXIF信息。它就是一种用来描述数码图片的元数据。 在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据，用来描述每一部电影。
1.4K100发布于 2018-04-13 - 来自专栏IT资讯新闻
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
1.3K00发布于 2021-07-16 - 来自专栏大数据技术架构
元数据管理 | Hive 元数据迁移与合并
hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。 字段是 DBS 表的外健； 这样的嵌套让表与表之间的关系表现为 [DBS]=>[TBLS]=>[PARTITIONS]=>[PARTITION_KEY_VALS]，像这样具有 5 层以上嵌套关系的有4- 参见代码：com.netease.hivetools.apps.SchemaToMetaBean 元数据迁移操作步骤 第一步：备份元数据迁移前的目标和源数据库 第二步：将源数据库的元数据导入到临时数据库 文件中中配置源和目的数据库的 JDBC 配置项 执行元数据迁移命令 hive-tools 会在迁移元数据之前首先检查源和目的元数据库中重名的 hive db，终止元数据迁移操作并给出提示 执行删除重名数据库命令 再次执行执行元数据迁移命令 检查元数据迁移命令窗口日志或文件日志，如果发现元数据合并出错，通过对目的数据库进行执行删除指定 hive db 的命令，将迁移过去的元数据进行删除，如果没有错误，通过 hive
2.6K30发布于 2021-04-29 - 来自专栏大数据文摘
未来战争，军事大数据决定主动权
大数据“大”在哪儿 麦肯锡全球研究所对大数据的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合（datasets）。 预计，非结构化数据将占数据总量的80%以上。 此外，他认为大数据还要求数据处理的实时性。大数据的数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理，能在第一时间抓住重要事件发生的信息。 如何对海量战场数据进行存储与深度分析，如何判别数据的真实性，数据来源的可靠性，确保数据传输的安全性，是未来战争双方面临的问题。 随着战场数据量的增大，高效存储与分析海量数据，从数据中发掘敌我态势的变化，预测出最合理的作战方案，使海量数据更好地为信息化战争服务是军事大数据处理的目标。 而在数据预处理阶段，包括了消除重复数据、消除噪声、遗漏数据处理、数据类型转换等，目的是把数据处理成适合于数据挖掘的形式，并在数据选择的基础上对挖掘数据作进一步的约简减少内存资源和处理时间，使挖掘更有效。
1.6K61发布于 2018-05-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号