- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据那些事
hive（4）——元数据概述
前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据，那我们用mysql到底是存储的什么，元数据到底是什么？ 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集，比如说我去查看我的mysql上的元数据到底长什么样 （1）先进入hive数据库（此数据库事先已经创建好，在hive的配置文件中我们已经设置好 （2）进入hive数据库 ? （3）查看此数据库里面的表 ? DBS表是一个关键的表，查看它： ? 这里就可以看见这份数据在hdfs中的位置 TBLS表 ? ?
86840发布于 2020-11-11 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 通用数据模型：支持关系型数据源的数据治理，如MySQL、PG、Oracle等元数据管理； 备注：如果需考虑文件元数据等场景，需要对元模型扩展。 ，获取元数据信息； 对于特殊组件，如Hive，可实现组件Hook，基于PUSH主动上报 业务元数据支持PUSH主动上报 异构采集触发：基于消息中间件，解耦元数据的采集过程和处理过程； 元数据推断 元数据推断
4.1K43编辑于 2024-05-14 - 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 如果您对某些表具有大量索引感到怀疑，那么可以使用下面查询，该查询告诉您具有超过4个索引和索引计数超过列计数一半的表。它是一种任意选择具有大量索引的表的方法。 --超过4个索引的表 --索引个数超过列数一半 SELECT object_schema_name(TheIndexes.Object_ID) + '. 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.3K10编辑于 2023-02-25 - 来自专栏大数据架构师成长之路
元数据解读
元数据生命周期 笔者这里以集中式元数据架构为例讲解，通过对数据源系统的元数据信息采集，发送Kafka消息系统进行解耦合，再使用Antlr4开发各版SQL解析器，对元数据信息新增、修改和删除操作进行标准化集中整合存储 一般采集Elasticsearch做元数据信息检索和Neo4J做血缘关系的数据地图。 如果多种计算引擎就使用上述笔者给出技术架构图，通过对不同存储和计算引擎监听动作，使用Antlr4开发各版本SQL解析工具，动态识别元数据信息变更、删除和新增实时或准实时生成集群血缘关系、系统血缘关系、表级血缘关系和字段血缘关系 通过从语法树遍历解析后存储Neo4j图数据 影响度分析 影响度分析，也是较为血缘关系应用的一部分，其用来分析数据的下游流向。 统一SQL路由引擎是使用Antlr4实现的词法文件，具体实现可参考Antlr4实战：统一SQL路由多引擎。
1.6K51发布于 2020-06-10 数据管理最容易混淆的3个概念：元数据、数据元、元模型
做数据这行的，肯定常听到“元数据”“数据元”“元模型”这三个词。开会时有人说“元数据管理”，转头又有人提“数据元标准”，偶尔还穿插“元模型设计”，但真要问它们仨到底啥区别，估计不少人说不清楚。 一、元数据：描述“数据”本身的信息说白了，元数据就是“关于数据的数据”。 那么元数据到底有啥用？简单说，元数据就是帮你解决“数据从哪儿来、能干啥、怎么用”这三个问题的：实际工作中怎么用元数据的？ 比如FineDataLink中要管理“表元数据”和“字段元数据”，元模型就会规定：每个“表元数据”必须关联多个“字段元数据”，每个“字段元数据”必须包含“名称”“类型”“长度”这些信息。 4.治理数据时通过元数据监控表的变更，用数据元校验数据质量，按元模型检查模型是否合规，比如事实表没加外键。总结元数据、数据元、元模型这三个概念，看着有点绕，但其实都是数据治理的基础。
3.4K11编辑于 2025-08-19- 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.4 版本正式发布
腾讯云存储团队正式发布数据加速器 GooseFS 1.4 版本（含 GooseFS 1.4.0 和 GooseFS 1.4.1 版本），该版本针对 AI、大数据场景提供了文件解压缩等便捷易用的工具，同时针对海量文件读写下的集群性能和稳定性问题进行了针对性优化 增加 Master 查询/更新 RocksDB 的分位耗时监控，提升元数据服务的监控灵敏度。（GooseFS 1.4.0） 4. 优化了 GooseFS HA模式下的集群恢复时间，提升了集群可用性。 CosN 依赖版本升级，支持通过原生 HDFS 协议访问开启元数据加速的存储桶，提升大数据场景下的文件操作性能。（GooseFS 1.4.0） 6. 修复 Flume 写入场景认证流和数据流状态统一问题。（GooseFS 1.4.1） 4. 修复大文件写入耗尽客户端资源后死锁的问题。 （GooseFS 1.4.1） 点击“阅读原文”了解数据加速器 GooseFS更多信息
74320编辑于 2023-04-05 - 来自专栏大数据和云计算技术
元数据概念
刘耀铭同学元数据系列作品的第一篇，大家支持！ 其他元数据相关系列文章： 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）,用于提供某种资源有关信息的结构化数据（structed 字面上看无法看出所以然，但其实看对应的英文含义就明确了，Meta指“对······的描述”类似Meta tag，所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为3类：DBMS数据字典、ETL处理流程产生的日志、BI建模等。 DBMS数据字典 数据库管理系统（DBMS）中的元数据一般在所有的数据仓库都会包含，因为数据仓库一般都是基于数据库搭建的，而数据库本身的管理系统就会自动维护一套数据字典供用户查询。
1.5K110发布于 2018-03-08 - 来自专栏iOS打包，上架知识大全
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
82310编辑于 2023-05-05 - 来自专栏阮一峰的网络日志
元数据（MetaData）
元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。 这个例子中的"年龄"、"身高"、"相貌"、"性格"，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。 当然，这几个元数据用来刻画个人状况还不够精确。 我们每个人从小到大，都填过《个人情况登记表》之类的东西吧，其中包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等......这一套元数据才算比较完备。 在日常生活中，元数据无所不在。 有一类事物，就可以定义一套元数据。 喜欢拍摄数码照片的朋友应该知道，每张数码照片都包含EXIF信息。它就是一种用来描述数码图片的元数据。 在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据，用来描述每一部电影。
1.4K100发布于 2018-04-13 - 来自专栏IT资讯新闻
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
1.3K00发布于 2021-07-16 - 来自专栏大数据技术架构
元数据管理 | Hive 元数据迁移与合并
hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。 字段是 DBS 表的外健； 这样的嵌套让表与表之间的关系表现为 [DBS]=>[TBLS]=>[PARTITIONS]=>[PARTITION_KEY_VALS]，像这样具有 5 层以上嵌套关系的有4- 参见代码：com.netease.hivetools.apps.SchemaToMetaBean 元数据迁移操作步骤 第一步：备份元数据迁移前的目标和源数据库 第二步：将源数据库的元数据导入到临时数据库 文件中中配置源和目的数据库的 JDBC 配置项 执行元数据迁移命令 hive-tools 会在迁移元数据之前首先检查源和目的元数据库中重名的 hive db，终止元数据迁移操作并给出提示 执行删除重名数据库命令 再次执行执行元数据迁移命令 检查元数据迁移命令窗口日志或文件日志，如果发现元数据合并出错，通过对目的数据库进行执行删除指定 hive db 的命令，将迁移过去的元数据进行删除，如果没有错误，通过 hive
2.6K30发布于 2021-04-29 - 来自专栏不温卜火
Hive快速入门系列(4) | 如何将Hive元数据配置到MySql
上一篇博文我们讲了怎样安装MySql，这篇文章为上篇的后续，此篇文章讲的是如何将Hive元数据配置到MySql。 本系列所用到的安装包博主已经上传到百度云盘中，如有需要的可以自取。 mysql-connector-java-5.1.27]$ cd /opt/module/hive/conf [bigdata@hadoop001 conf]$ vim hive-site.xml 2.2 根据官方文档配置参数，拷贝数据到 多窗口启动Hive测试 3.1 先启动MySQL [bigdata@hadoop001 mysql-libs]$ mysql -uroot -p199712 # 查看有几个数据库 mysql> show --------------------+ 3.2 再次打开多个窗口，启动hive [bigdata@hadoop001 hive]$ bin/hive 3.3 启动hive后，回到MySQL窗口查看数据库 ，显示增加了metastore数据库 mysql> show databases; +--------------------+ | Database | +-----------
1.5K20发布于 2020-10-28 - 来自专栏Qt核心机制
Qt核心：元对象系统（1）- 元对象和元数据
所以推测，Qt 大概率是采用某种方法拿到了方法和函数名的映射数据，从而完成转换，这部分数据我们暂且称为元数据。2 元数据和元对象什么是元数据？ Qt 给出的答案是基于 Qt 元对象系统的一系列机制。4 朴素的元对象系统Qt 的元对象系统发展这么久，完善是真的完善，代码多也是真的多！ 4.1 元对象声明联系前面的元数据的说明，朴素的想法是我们可以用另一个对象来描述这些信息，即元对象，在运行时通过这个对象来获取相关的具体类型等。 中，头文件中的部分大概有200行左右，但是看出来其中是有明显的划分的，在元对象中定义了用来存放元数据的地方（源文件的604-612）行，我们可以看到其中存放的元数据的结构元数据以字符串和数组的形式存放在私有的结构体中 宏的相关类的信息，生成moc文件，得到元数据并构造元对象将生成的文件和源文件一起编译
3.2K10编辑于 2022-10-17 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.3.0 版本正式发布
为了满足云上数据湖存储对安全、高性能的要求，腾讯云存储团队正式发布数据加速器 GooseFS 1.3.0 版本。 启用元数据加速功能后，可以提升集群对元数据的操作性能，比如 List、Rename 等操作，可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。 提供了元数据清理工具 元数据一般存储在 GooseFS Master 节点。 4. 修复了 DistributedLoad 的时候由于日志打印过多导致的 LostWorker 问题。 如果您想了解数据加速器 GooseFS 的更多信息，或者上手使用 GooseFS ，请点击[阅读原文]，查阅官网文档。 点击“阅读原文”，查看更多信息！
52110编辑于 2022-08-26 - 来自专栏ATYUN订阅号
Google Cloud现已支持Nvidia Tesla P4推理加速器
通常，这些产品的重点是建立机器学习模型，但今天，谷歌推出对Nvidia P4加速器的支持，该加速器专门用于推理，以帮助开发人员更快地运行现有模型。 因为P4s有8 GB的DDR5内存，并且可以每秒处理多达22个tera运算，对于整数操作来说，这些卡片可以处理几乎所有你输入进去的东西。 在Google Cloud上，如果你对运行可抢占的GPU感到满意，那么P4的标准价格为每小时0.60美元，每小时0.21美元。
68820发布于 2018-08-16 - 来自专栏点滴科技资讯
4个理由说明为什么加速器项目适合你
加速器或孵化器真的能“加速”我的企业发展吗？啊，他们为什么要那么多股权呢？决定是否申请某个孵化器或加速器仍然是一个头疼的决定。 在前三个方面，我会和你们分享为什么你应该考虑申请某个加速器项目。 以下是某个加速器项目是否适合你的4个理由： 1、它能提供关键资源给企业发展壮大。一些加速器能提供资本，资源，材料和空间等好处给企业。 EpiBiome公司早期的数据对于我们获得A轮融资至关重要，而且充分利用Illumina加速器的平台可以节省我们大量资本，不用购买高达数千万美元的设备。 我们在向投资人募资或者推广我们企业时，我们会很肯定地提及我们加入的加速器项目—而且这都会起到很好地效果。 4、它能吸引人才。加入加速器能帮你吸引关键人才。 因为我知道Illumina加速器在基因测序技术领域具有领先优势，而且在运作加速器方面已经积累了丰富的经验，我相信该加速器只会选择最有可能成功的企业。
3.4K50发布于 2018-04-28 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.2.0 版本正式发布
新春已来临，腾讯云存储团队正式在官方网站上架数据加速器 GooseFS 产品，同时数据加速器 GooseFS 1.2.0 版本正式发布。 开启元数据缓存热开关能力需要先开启透明加速能力，有关透明加速能力文档介绍，可以参考文档（https://cloud.tencent.com/document/product/1424/68294）。 2、集成 CHDFS 认证和 Ranger 鉴权体系 Apache Ranger 是大数据生态系统中用于控制访问权限的一个标准鉴权组件，GooseFS 作为大数据和数据湖场景下的加速存储系统，也已经支持接入 ，我们也修复如下问题： 修复 Journal 乱序的问题； Ratis 死锁导致的 GRPC 问题； 修复了HDFSUnderFileSystemFactory 加载位置不正确的问题； 修复了 log4j2 的安全漏洞问题； 修复了ufsPath 前缀检查错误的问题； 如果您想了解数据加速器 GooseFS 的更多信息，或者上手使用 GooseFS ，请点击阅读原文，查阅官网文档。
69010编辑于 2022-02-17 - 来自专栏用户2276240的专栏（5）
java - Annotation元数据
Annotation元数据（一） 一、Annotation究竟是什么？ 是java5.0中的新特征 数据的数据（元数据） Annotation和访问修饰符一样，应用于包、类型、构造方法、方法、成员变量、参数、本地变量的声明中。 public @interface IfInvoke { public boolean invoke(); } 注意： @Retention(RetentionPolicy.RUNTIME)：表示在运行时元数据还能被访问 Java5.0定义了4个标准的meta-annotation类型，它们被用来提供对其它annotation类型作说明。 void extraSalary() ［和普通没什么两样］ 如果改成如下的定义方式： @Documented @Retention(RetentionPolicy.RUNTIME) //表示在运行时元数据还能被访问
26800编辑于 2025-04-05 元数据、数据元、元模型：三个你似懂非懂，但必须弄清的概念
在工作里和很多刚开始接触数据治理的朋友聊天，我发现有几个词特别容易把人绕晕：元数据、数据元、元模型。它们长得像，听起来也差不多，经常被混为一谈。 第一部分：元数据——数据的“说明书”和“地图”我们先说最常听到的元数据。元数据，就是“关于数据的数据”。这个定义有点绕，但很简单。它不是数据内容本身，而是用来描述数据内容的各种信息。 第二部分：数据元——数据的“标准原子”如果说元数据是描述数据的“外部信息”，那么数据元就深入到数据的“内部核心”了。数据元，是数据不可再分的最小单元，并且经过了严格的定义和标识。 如果说元数据描述具体的数据，数据元定义具体的字段，那么元模型就是定义“我们该如何去描述和定义数据”的规则。它是“模型的模型”。这个概念有点绕，我们一步步来。 一个成熟的、方便查询的元数据管理系统，能让你如虎添翼。而当你开始参与数据标准制定或数据平台规划时，数据元和元模型的概念就会变得至关重要。希望这次的梳理，能帮你把这团“元”字头的迷雾吹散一些。
57810编辑于 2026-01-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号