- 综合排序
- 最热优先
- 最新优先
- 来自专栏大数据那些事
hive（4）——元数据概述
前面我所用的表hive_table其实用hive查询时查得还是hdfs上的数据，那我们用mysql到底是存储的什么，元数据到底是什么？ 元数据其实是数据的类型和我们用hive怎么拆分这个表的信息的合集，比如说我去查看我的mysql上的元数据到底长什么样 （1）先进入hive数据库（此数据库事先已经创建好，在hive的配置文件中我们已经设置好 （2）进入hive数据库 ? （3）查看此数据库里面的表 ? DBS表是一个关键的表，查看它： ? 这里就可以看见这份数据在hdfs中的位置 TBLS表 ? ?
86840发布于 2020-11-11 - 来自专栏音视频技术
元宇宙标准论坛成立
” 编者按：元宇宙标准论坛致力于协调技术标准，提升技术的互通与兼容性。 文 / Ant 6月21日，元宇宙标准论坛（Metaverse Standards Forum）发布了创始会员（见下图），包括Adobe、阿里巴巴达摩院，EPIC，华为，宜家，Meta，微软，Nvidia ，高通，索尼互动娱乐，Unite，W3C等企业和标准组织。 图：元宇宙标准论坛创始会员 (图片来自 https://metaverse-standards.org/) 元宇宙标准论坛由Khronos发起，“这不是一个推广元宇宙概念的论坛，而是一个协调、协商元宇宙技术标准的平台 目前，加入元宇宙标准论坛是免费的。 不过，苹果并未加入元宇宙标准论坛。 Tip：微信后台回复“元宇宙”，下载元宇宙标准论坛官方PPT。
67220编辑于 2022-06-27 数据标准落地难？4个步骤帮你解决！
因为如果数据标准仅仅被看作是一份躺在文档库里的“定义清单”，那它的确无法产生任何实际价值。但我可以很负责任地告诉你，数据标准是数据能被用起来的基石。 没有它，你后面所有的数据平台、数据湖、数据中台、数据分析，都不稳固，一推就倒。今天，我就用最直白的方式，分享一下我对数据标准的思考和实践经验。希望能给大家带来一些实实在在的启发。 这本质上不是技术活动，而是沟通和管理活动，目的是为了减少内耗，让数据能够真正地驱动业务。二、数据标准到底是什么？那么，一份能真正指导工作的数据标准，应该长什么样？ 4.标准的代码值与范围对于那些下拉框里的选项，必须明确所有可能的值。比如，“订单状态”只能是“01-待支付”、“02-已发货”、“03-已完成”。这样就不会出现“已完成”和“完结”并存的混乱场面。 业务规则：必须从标准的行业分类代码中选择，不支持自由文本输入。数据格式：字符串，固定长度为4位（采用国标代码）。标准代码示例：‘C381’代表“电机制造”，‘I6510’代表“软件开发”。
29210编辑于 2025-12-08- 来自专栏Metaverse元宇宙
没有标准，就没有元宇宙
要创造出可以构成元宇宙的物理和数字增强现实的混合体，空间映射和本地同步是必须要解决的挑战。但在今天，各大设备制造商和平台在这一领域都有自己的专有数据，完全没法达成一个标准和共识。 元宇宙的虚拟和增强现实世界将使用空间映射技术来创建——所谓空间映射是指，设备通过传感器获取周围空间的数据，并结合这些数据构建一个三维渲染的空间。 而且，为了让元宇宙独立于设备和平台，目前业内零散的专有映射解决方案将需要合并成公认的标准共识。 但是，无论是针对所有 XR 数据流、视频、音频、触觉和点云处理的上行和下行传输优化，还是专门的网络切片方法，都需要对支撑空间映射数据的流程进行标准化，才能让元宇宙成为一种大众化的通行体验，而不是碎片化、 但一个简单的事实是，除非设备之间能够相互交流和互动，除非所有这些渲染出来的世界都使用相同的标准和数据共享技术，除非网络能够以可负担和可持续的价格提供充足的容量、连接带宽和低延迟水平，否则元宇宙的发展肯定会停滞不前
71620编辑于 2022-08-30 - 来自专栏Python七号
标准库 collections 中 4 个常用的数据结构
collections 库是标准库的一部分，里面有很多数据结构，在列表、字典、元组的基础上做了很多修改和提升。 今天就来说说最有用的几个。 1、deque 它实现了两端都可以操作的队列，相当于双端队列，与可以指定最多存储多少个元素，与 Python 的基本数据类型列表很相似。 ) p2 = Point(x=3, y=4, z=5) p3 = Point. defaultdict defaultdict 和 dict 差不多，但是可以提供 dict 的 values 的默认数据类型，比如： from collections import defaultdict 最后 本文分享了 4 个 collections 库中常用的几个数据结果，如果对你有所帮助，还请点赞关注支持：
46430发布于 2021-10-20 - 来自专栏一个爱吃西瓜的程序员
Web前端基础【4】--HTTP标准
Accept-Encoding X-Powered-By:HPHP X-Ua-Compatible:IE=Edge,chrome=1 响应头中包含以下内容： 1：HTTP/1.1表示使用HTTP1.1协议标准 目前Cookie已经成为标准，所有的主流浏览器如IE、Netscape、Firefox、Opera等都支持Cookie。 由于HTTP是一种无状态的协议，服务器单从网络连接上无从知道客户身份。 4 PUT 从客户端向服务器传送的数据取代指定的文档的内容。 5 DELETE 请求服务器删除指定的页面。 6 CONNECT HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。 2：POST 方式：向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 GET和POST的区别： 1：在客户端，get方式通过url提交数据，数据在url中可以看见；post方式，数据放置在实体区提交。
1.1K70发布于 2018-04-03 - 来自专栏ISP图像处理相关
【阅读笔记】红外探测器盲元国标标准及盲元识别
这种盲元需要采集多帧图像，根据帧间的数据特征识别出来。将每个像元的输出电平与时间作一条曲线。当该曲线上有突变值时，这个像元就是时域盲元或闪元。 以上图为例，横坐标是某个像元的1000帧数据，同个像元1000帧间响应有高有低，当响应超过平均响应的一定范围则为异常像元。1.3 空域盲元将线列组件的空间盲元定义为相邻元之间响应差异较大的像元。 它们虽然不是盲元，但成像后的灰度值也会有明显差异以上图为例，横坐标是探测器的一行1000个像元数据，像元响应有高有低，当响应超过平均响应的一定范围则为异常像元。 因为要采集多帧数据，探测器靶面接收到的信号必须是均匀稳定的。 4、盲元判断长波红外探测器的加工工艺或者感光原理，导致闪线等不同种类的盲元增多，新方法的盲元判别率明显高于国标检测方法，且与国标检测得到的盲元也有很多差异，说明盲元种类需要不同的判据来识别。
1.3K10编辑于 2024-02-22 - 来自专栏烂笔头
Python标准库笔记(4) — collections模块
from collections import OrderedDict d = {'banana': 3, 'apple': 4, 'pear': 1, 'orange': 2} order_d = # ----输出结果----- key: pear value: 1 key: orange value: 2 key: banana value: 3 key: apple value: 4 'b': 2}) # 从一个字典对象创建 print Counter(a=4, b=2) # 从一组键值对创建 # ----输出结果----- Counter({'c': 3, 'a': 2, ' b': 2, 'd': 1}) Counter({'a': 2, 'c': 1}) Counter({'a': 4, 'b': 2}) Counter({'a': 4, 'b': 2}) 获取元素的计数时和 Counter() a&b: Counter({'a': 1, 'b': 1}) a|b: Counter({'a': 3, 'b': 1}) 5.deque deque就是双端队列，是一种具有队列和栈的性质的数据结构
1.1K70发布于 2018-03-20 - 来自专栏yeedomliu
《刻意练习》第4章 黄金标准
从音乐领域开始 如果某人谨慎勤奋地遵循这些方法，那么，他几乎一定能成为该行业或领域的专家。这些行业或领域有几个共同的特点 对于绩效的测量，总是存在客观的方面，比如象棋比赛或者一对一比拼中的输赢， 这些行业或领域往往具有足够的竞争性，以至于从业人员有强烈的动机来训练和提高 这些行业或领域通常都是已经形成规模的，相关的技能已得到数十年甚至数世纪的培养 这些行业或领域中，有一些从业人员还担任导师和教练，随着时间的推移，他们已经发展出日渐复杂的一整套训练方法，使得该行业或领域的技能水平稳定提高 最杰出的人，练习时间
1.2K10发布于 2019-09-29 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 通用数据模型：支持关系型数据源的数据治理，如MySQL、PG、Oracle等元数据管理； 备注：如果需考虑文件元数据等场景，需要对元模型扩展。 ，获取元数据信息； 对于特殊组件，如Hive，可实现组件Hook，基于PUSH主动上报 业务元数据支持PUSH主动上报 异构采集触发：基于消息中间件，解耦元数据的采集过程和处理过程； 元数据推断 元数据推断
4.1K43编辑于 2024-05-14 - 来自专栏云上计算
10余家单位联合制定《数据中台 元数据规范》团体标准，携手打破“数据孤岛”
6月10日，杭州玳数科技有限公司（以下简称“袋鼠云”）牵头，联合浙江省标准化研究院等省内10余家单位制定的全国首个《数据中台 元数据规范》团体标准正式发布。 标准规定了数据中台元数据的元模型、描述方法、扩展要求、校验及表示，适用于数据中台的数据集编目、建库，以及数据交换、数据集成等。 而造成这个问题背后最主要的原因，是市面上的参与者各自执行各自的元数据标准，甚至有些企业内部都未形成统一的元数据标准，导致多个企业间需要数据交互或者单个企业数据重建时，并不能快速对齐规则，最终造成数据重复建设 本次，袋鼠云将元数据作为数据中台领域标准研制的第一站，是因为元数据在数据中台中有着特殊地位。如果将数据中台比作一本书，元数据就相当于是书本的目录。 因此，《数据中台 元数据规范》不仅是数据中台领域标准的开端，更是大数据行业的又一标准化创举。“我们认为本次元数据规范的推出是一个开端。
39720编辑于 2022-07-01 - 来自专栏chimchim要努力变强啊
数据治理之数据标准
目录 一、背景 1、数据难以共享 2、数据定义不一致导致异常 3、沟通成本高 4、数据来源不明 二、什么是数据标准？ 三、为什么要做数据标准？ 3、沟通成本高 数据理解不一致，不同人员对数据的理解不一致，导致在数据使用时浪费很多时间来进行沟通。 4、数据来源不明 数据来源不一致，数据存在多个来源，在使用数据时，不清楚应该取哪个系统的数据。 二、什么是数据标准？ 四、目标 1.制定数据标准规范 2.统一管理数据标准 3.形成数据资产，支持跨业务线共享 4.规范开发流程并指导业务系统建设 五、实施步骤 1.标准规划 2.标准编制 3.标准评审发布 4.标准落地执行 3.表名命名规范 4.任务名命名规范 5.数据清洗规范 6.数据类型规范 7.空值处理规范 8.时间周期规范 9.建模规范 10.同步策略规范 11.数据生命周期规范 12.UI样式规范 13.脚本开发规范
1.1K20编辑于 2022-11-13 - 来自专栏资讯分享
腾讯混元率先通过国家大模型标准测试
在12月22日的全国信息技术标准化技术委员会人工智能分委会全体会议上，腾讯混元大模型率先通过国家大模型标准符合性测试。 本次评测由中国电子技术标准化研究院发起，基于32个细分维度，对国内主要的大模型进行测试。认定：腾讯混元大模型符合《人工智能大规模与训练模型 第2部分：测评指标与方法》语言大模型的相关技术要求。 此外，腾讯云还以提案牵头方身份启动《人工智能模型即服务（MaaS）功能要求》的讨论与编制，推动MaaS领域标准化。对此，腾讯混元怎么看？在上百个大模型中，欢迎选用腾讯混元。
33610编辑于 2023-12-25 - 来自专栏仿真CAE与AI
掌握这些标准 轻松入门有限元分析
对于初学者来说，掌握有限元分析的基本知识和技能是迈向成功应用的关键一步。本文将详细介绍有限元分析入门的标准，帮助初学者快速了解并掌握这一重要工具。 一、理论基础（一）理解基本概念有限元方法（FEM）：有限元方法是一种数值分析技术，通过将连续的结构或物理场离散为有限数量的单元，从而近似求解复杂的物理问题。 虚功原理：虚功原理是有限元方法的另一个重要基础，它表明外力所做的虚功等于内力所做的虚功。通过虚功原理可以推导出有限元方程。 （二）解决实际问题选择实际工程问题：选择一个实际的工程问题，如桥梁结构分析、热交换器设计等，进行有限元分析。验证和校准：通过实验数据或已知结果，验证有限元分析的准确性。 （二）编程基础脚本语言：学习使用Python、MATLAB等脚本语言，用于数据处理和自动化分析。
56910编辑于 2025-11-12 - 来自专栏加密解密
DES数据加密标准
中文全称为：数据加密标准（Data Encryption Standard，缩写DES）。 1.2、DES加密/解密的历史与安全性 DES最初出现在1970年代早期。 NBS（国家标准局，现在的NIST美国国家标准技术研究所）开始征集用于加密政府内非机密敏感信息的加密标准，然后DES在1976年11月被确定为联邦标准。 其中PKCS7标准是主流加密算法都遵循的数据填充算法。DES标准规定的区块长度为固定值64Bit，PKCS5为DES专用，但是从长远考虑推荐兼容性更好的PKCS7。 区块长度：DES标准规定区块长度只有一个值，固定为64Bit，对应的字节为8位； 密钥KEY：该字段不能公开传输，用于加密和解密数据； 初始化向量IV：该字段可以公开，用于将加密随机化。 本教程引自《试试吧 - 领先的在线工具平台》，主打原创，全部免费，打开浏览器搜：试试吧，全网排名第一的就是本站，快来试试吧：DES数据加密标准 - 在线工具。
2.6K00编辑于 2023-03-17 - 来自专栏萝卜大杂烩
PKW: asyncio 标准库简介（第 4 期）
这是 Python Knowledge Weekly（PKW）第 4 期。 ”事情很少有根本做不成的；其所以做不成，与其说是条件不够，不如说是由于决心不够。 and it is often for want of will, rather than of means, that man fails to succeed.“ 本周分享知识 一、asyncio 标准库简介 二、使用异步多线程来爬取小说 asyncio 标准库简介 asyncio 是干什么的？ <_MainThread(MainThread, started 30864)> 4here 5Hello! <_MainThread(MainThread, started 28288)> 3SAY HELLO 4here 5Hello!
74520发布于 2019-07-17 什么是数据标准管理？怎么进行数据标准管理？
没有术语标准，后面很多争论其实都没有基础。2、数据元标准数据元是最基础的数据描述单元。一个完整的数据元标准，至少要说清楚名称、定义、数据类型等内容。 ：限制数据元取值（离散值 / 连续值），确保数据有效性和一致性约束条件：如唯一性、非空、外键约束等，保证数据完整性和一致性关系和关联：定义数据元间的层次 / 父子关系、引用 / 关联关系元数据：包含数据元的定义 数据模型管理和变更控制：规定版本管理、变更记录、审批流程等。4、主数据标准主数据是企业跨系统共享的核心数据，比如客户、员工、机构、产品、供应商等。 能复用的就复用，能对齐外部标准的就尽量对齐，确实不满足业务需求的再新建。这样落地阻力最小，执行成本也更低。4、标准制定在充分调研基础上，对不同类别的数据标准逐项定义清楚。 4、数据标准改进业务在变，系统在变，监管在变，标准当然也要变。所以必须建立持续维护机制，包括变更申请、影响评估、审批发布、版本管理、执行跟踪等。没有改进机制，标准很快就会变成历史资料。
7000编辑于 2026-04-07一文讲清数据治理体系：数据标准、元数据管理、主数据管理、数据质量管理、数据安全、数据资产管理
很多时候，数据用不起来，问题就出在这第一步。大家嘴上说的同一个词，背后指的根本不是同一个数。数据标准，说白了，就是让大家在说销售额、活跃用户这些词的时候，指的是同一个计算方法和数据来源。 所有新上的报表和系统，必须用这套新标准。已有的老系统，在改造的时候逐步对齐。我还在大家常用的BI工具里，把这些标准化的指标直接做成可选的数据产品，用起来方便，大家自然就愿意用了。 简单来说，做数据标准，就是选准切入点，拉齐共识，再用工具和流程把它固化到日常工作中去。二、元数据管理元数据，就是描述数据的数据。它的主要作用是解决数据在哪里和数据是什么的问题。 根据使用对象的不同，元数据主要分为下面这三类：说实话，我第一次接触这个概念也觉得虚。后来发现，只要做好两件事，价值立刻就出来了。 4、运营建个数据资产门户，将治理好的、高质量的数据产品（如标准报表、分析模型、API服务）以目录的形式展示出来。业务部门可以自己查找、申请使用。让数据更容易被找到、被用起来。
69930编辑于 2026-01-14- 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 --超过4个索引的表 --索引个数超过列数一半 SELECT object_schema_name(TheIndexes.Object_ID) + '. 让我们弄清楚这一点，因为它不是完全直观的体现在sys.objects，您可以找到关于所有公共数据库组件的基本标准信息，如表、视图、同义词、外键、检查约束、键约束、默认约束、服务队列、触发器和过程。 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.3K10编辑于 2023-02-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号