- 综合排序
- 最热优先
- 最新优先
- 来自专栏golang云原生new
k8s如何访问 pod 元数据
如何访问 pod 元数据 我们在 pod 中运行容器的时候，是否也会有想要获取当前 pod 的环境信息呢？ 咱们写的 yaml 清单写的很简单，实际上部署之后， k8s 会给我们补充在 yaml 清单中没有写的字段，那么我们的 pod 环境信息和容器的元数据如何传递到容器中呢？ 是不是也是通过获取这些 k8s 默认给我填写的字段呢？ ，数据的来源写法和上述的环境变量类似 我们可以看到，Downward Api 挂载数据，具体的文件里面会以键值对的方式来呈现，也会以文本的形式来呈现 我们来将 pod 的标签修改成 prod，验证容器里面对应的文件是否会对应修改 之前我们查看过默认的 k8s 挂载的位置，/var/run/secrets/kubernetes.io/serviceaccount 这里面有 命名空间，证书，token 这个时候，我们访问 k8s
63440编辑于 2023-09-01 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元数据采集是元数据来源的重要途径，提供可管理的元数据原料，而如何进行可扩展且高效的元数据采集也是元数据管理的难点之一。本文将主要针对元模型定义、元数据采集两个模块进行详细说明。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 通用数据模型：支持关系型数据源的数据治理，如MySQL、PG、Oracle等元数据管理； 备注：如果需考虑文件元数据等场景，需要对元模型扩展。 ，获取元数据信息； 对于特殊组件，如Hive，可实现组件Hook，基于PUSH主动上报 业务元数据支持PUSH主动上报 异构采集触发：基于消息中间件，解耦元数据的采集过程和处理过程； 元数据推断 元数据推断
4.1K43编辑于 2024-05-14 - 来自专栏python3
Python学习笔记8——列表、字典、元
参考书籍：《Learning_Python_5th_Edition.pdf》，一本英文书呢，我上传到百度网盘吧，请点击这里，密码是：kym3
74020发布于 2020-01-19 - 来自专栏数据狗说事儿
数据治理投入ROI怎么算？某银行用3年数据证明：每1元投入换回8元业务价值
，每 1 元治理投入，撬动了 8 元业务价值。 风险失控的 “损失成本”：年暴露超 500 万信贷业务中，因企业财务数据缺失（如近 3 年纳税记录、关联方信息）、字段错误（如 “资产负债率” 计算口径偏差）导致的风控误判，年均产生 5-8 笔 “本可避免 （三）ROI 计算：每1元投入换回8元价值3 年总投入 = 平台采购（800 万）+ 人力成本（500 万）+ 流程优化（220 万）=1520 万元；3 年总收益 = 显性节约（6800 万）+ 隐性增长 （5360 万）=1.216 亿元；ROI=（1.216 亿 - 1520 万）/1520 万≈700%，即每 1 元投入换回 8 元业务价值（1.216 亿 / 1520 万≈8）。 毕竟，每 1 元投入换回 8 元价值的故事，不会只发生在银行。
40800编辑于 2025-07-23 - 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 第二篇，我选择了触发器的主题，因为它是一个能提供很好例子的数据库对象，并且在这个对象中能够提出问题和解决问题。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。 为此，它需要估计数据的“基数”，以确定为任何索引值返回多少行，并使用这些“stats”对象告诉它数据是如何分布的。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.3K10编辑于 2023-02-25 - 来自专栏大数据架构师成长之路
元数据解读
元数据应用领域较广，种类甚多， 按照不同应用领域或功能，元数据分类有很多种方法或种类，元数据一般大致可为三类：业务元数据、技术元数据和操作元数据。 元数据架构 元数据战略是关于企业元数据管理目标的说明，也是开发团队的参考框架。元数据战略决定了企业元数据架构。 元数据架构可分为三类：集中式元数据架构、分布式元数据架构和混合元数据架构。 集中式元数据架构： 集中式架构包括一个集中的元数据存储，在这里保存了来自各个元数据来源的元数据最新副本。 保证了其独立于源系统的元数据高可用性；加强了元数据存储的统一性和一致性；通过结构化、标准化元数据及其附件的元数据信息，提升了元数据数据质量。集中式元数据架构有利于元数据标准化统一管理与应用。 混合式元数据架构： 这是一种折中的架构方案，元数据依然从元数据来源系统进入存储库。但是存储库的设计只考虑用户增加的元数据、高度标准化的元数据以及手工获取的元数据。
1.6K51发布于 2020-06-10 数据管理最容易混淆的3个概念：元数据、数据元、元模型
做数据这行的，肯定常听到“元数据”“数据元”“元模型”这三个词。开会时有人说“元数据管理”，转头又有人提“数据元标准”，偶尔还穿插“元模型设计”，但真要问它们仨到底啥区别，估计不少人说不清楚。 一、元数据：描述“数据”本身的信息说白了，元数据就是“关于数据的数据”。 那么元数据到底有啥用？简单说，元数据就是帮你解决“数据从哪儿来、能干啥、怎么用”这三个问题的：实际工作中怎么用元数据的？ 比如FineDataLink中要管理“表元数据”和“字段元数据”，元模型就会规定：每个“表元数据”必须关联多个“字段元数据”，每个“字段元数据”必须包含“名称”“类型”“长度”这些信息。 4.治理数据时通过元数据监控表的变更，用数据元校验数据质量，按元模型检查模型是否合规，比如事实表没加外键。总结元数据、数据元、元模型这三个概念，看着有点绕，但其实都是数据治理的基础。
3.4K11编辑于 2025-08-19- 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.4 版本正式发布
腾讯云存储团队正式发布数据加速器 GooseFS 1.4 版本（含 GooseFS 1.4.0 和 GooseFS 1.4.1 版本），该版本针对 AI、大数据场景提供了文件解压缩等便捷易用的工具，同时针对海量文件读写下的集群性能和稳定性问题进行了针对性优化 GooseFS distributedLoad 能力支持层级遍历能力,支持递归拉取指定目录下的元数据信息。（GooseFS 1.4.0） 2. FUSE 随机读性能优化。 CosN 依赖版本升级，支持通过原生 HDFS 协议访问开启元数据加速的存储桶，提升大数据场景下的文件操作性能。（GooseFS 1.4.0） 6. （GooseFS 1.4.0） 8. 大文件顺序读优化。（GooseFS 1.4.0） 9. 支持清理和查看未完成文件列表（GooseFS 1.4.1） 10. （GooseFS 1.4.1） 点击“阅读原文”了解数据加速器 GooseFS更多信息
74320编辑于 2023-04-05 - 来自专栏大数据和云计算技术
元数据概念
刘耀铭同学元数据系列作品的第一篇，大家支持！ 其他元数据相关系列文章： 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）,用于提供某种资源有关信息的结构化数据（structed 字面上看无法看出所以然，但其实看对应的英文含义就明确了，Meta指“对······的描述”类似Meta tag，所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为3类：DBMS数据字典、ETL处理流程产生的日志、BI建模等。 DBMS数据字典 数据库管理系统（DBMS）中的元数据一般在所有的数据仓库都会包含，因为数据仓库一般都是基于数据库搭建的，而数据库本身的管理系统就会自动维护一套数据字典供用户查询。
1.5K110发布于 2018-03-08 - 来自专栏iOS打包，上架知识大全
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
82310编辑于 2023-05-05 - 来自专栏阮一峰的网络日志
元数据（MetaData）
元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。 这个例子中的"年龄"、"身高"、"相貌"、"性格"，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。 当然，这几个元数据用来刻画个人状况还不够精确。 我们每个人从小到大，都填过《个人情况登记表》之类的东西吧，其中包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等......这一套元数据才算比较完备。 在日常生活中，元数据无所不在。 有一类事物，就可以定义一套元数据。 喜欢拍摄数码照片的朋友应该知道，每张数码照片都包含EXIF信息。它就是一种用来描述数码图片的元数据。 在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据，用来描述每一部电影。
1.4K100发布于 2018-04-13 - 来自专栏IT资讯新闻
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 ： 查看所有数据库 <? > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
1.3K00发布于 2021-07-16 - 来自专栏大数据技术架构
元数据管理 | Hive 元数据迁移与合并
，进行元数据迁移； 迁移过程控制在十分钟之内，以减少对迁移方的业务影响； 元数据合并的难点 hive 的元数据信息（metastore）一般是通过 Mysql 数据库进行存储的，在 hive-1.2.1 参见代码：com.netease.hivetools.apps.SchemaToMetaBean 元数据迁移操作步骤 第一步：备份元数据迁移前的目标和源数据库 第二步：将源数据库的元数据导入到临时数据库 文件中中配置源和目的数据库的 JDBC 配置项 执行元数据迁移命令 hive-tools 会在迁移元数据之前首先检查源和目的元数据库中重名的 hive db，终止元数据迁移操作并给出提示 执行删除重名数据库命令 再次执行执行元数据迁移命令 检查元数据迁移命令窗口日志或文件日志，如果发现元数据合并出错，通过对目的数据库进行执行删除指定 hive db 的命令，将迁移过去的元数据进行删除，如果没有错误，通过 hive 客户端检查目的数据库中是否能够正常使用新迁移过来的元数据 严格按照我们的元数据迁移流程已经在网易集团内部通过 hive-tools 已经成功迁移合并了大量的 hive 元数据库，没有出现过问题。
2.6K30发布于 2021-04-29 - 来自专栏程序猿的大杂烩
搭建Hive3.x并整合MySQL8.x存储元数据
/存储扩展能力（MR计算，HDFS存储） 统一的元数据管理，可与Presto/Impala/SparkSQL等共享数据 Hive体系架构图： ? Hive中创建的表、列、分区等元数据信息，但在生产环境中肯定不会使用内嵌数据库，而是将元数据存储在外部的数据库中，例如MySQL。 xml version="1.0" encoding="UTF-8"? xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"? 这是因为没有hdfs上的文件权限，修改相应文件的权限即可： [root@hadoop01 ~]# hdfs dfs -chmod 777 /user 表创建成功后，此时在MySQL中就可以看到表和字段的元数据信息
2K30发布于 2020-10-27 - 来自专栏程序员备忘录
代码实现java8元空间溢出
最近组内项目报了一个错，大概原因就是元空间的问题。虽然问题解决了，但是对于作者来说感觉还是一头雾水，为啥一头雾水？ 因为我们知道元空间在java8中替代的是java7中的永久代，永久代就是存储类信息，我们用到的类都要存放到这块空间。但是在java8中元空间在堆外。 那么元空间的出错就成了容量太小装不下项目运行所需要的类？那么又是何种原因导致项目会不断生成新的类？我们知道java的动态代理会生成代理类，代理类的特点就是类名后边很多莫名其妙的字符。 所以我们的元空间导致的问题很大原因上还是使用了动态代理。而且这些动态代理类被无限的生成了并且没有来得及被卸载，或者被卸载了但是其生成的对象还在。 那么咋实现一下如何让元空间溢出吧。 使用java visualVm进行载入类数量和元空间变化情况。 查看报错日志： 切断jmeter连接中断报错。
73210编辑于 2022-08-11 - 来自专栏Qt核心机制
Qt核心：元对象系统（1）- 元对象和元数据
所以推测，Qt 大概率是采用某种方法拿到了方法和函数名的映射数据，从而完成转换，这部分数据我们暂且称为元数据。2 元数据和元对象什么是元数据？ 4.1 元对象声明联系前面的元数据的说明，朴素的想法是我们可以用另一个对象来描述这些信息，即元对象，在运行时通过这个对象来获取相关的具体类型等。 中，头文件中的部分大概有200行左右，但是看出来其中是有明显的划分的，在元对象中定义了用来存放元数据的地方（源文件的604-612）行，我们可以看到其中存放的元数据的结构元数据以字符串和数组的形式存放在私有的结构体中 QMetaObject对象的私有数据中有几个变量需要初始化首先是const QByteArrayData *stringdata; // 元数据的字符串数据，moc文件中解析来的数据如下。 宏的相关类的信息，生成moc文件，得到元数据并构造元对象将生成的文件和源文件一起编译
3.2K10编辑于 2022-10-17 - 来自专栏IT技术订阅
DeepGEMM：全球首个开源的 FP8 矩阵加速器技术解析
DeepSeek 开源的 DeepGEMM 矩阵加速器正是在这一背景下应运而生，它不仅填补了全球范围内 FP8 矩阵加速器的空白，还通过一系列创新技术实现了显著的性能提升。 FP8 是一种新兴的 8 位浮点格式，相比 FP32 和 FP16，它在计算速度上有显著提升，但精度较低。为了在保持计算效率的同时减少精度损失，DeepGEMM 应运而生。 二、DeepGEMM 的技术原理 （一）FP8 精度优化 FP8 是一种 8 位浮点格式，其位宽较短，因此计算速度更快，但精度较低。 TMA 是 Hopper 架构中的一个关键特性，支持异步数据移动、多播和描述符预取。 通过 TMA，DeepGEMM 能够优化数据传输和存储，减少内存带宽瓶颈。 三、技术挑战与优化策略 （一）FP8 精度与性能的平衡 FP8 格式虽然计算效率高，但精度较低，容易导致累积误差。DeepGEMM 通过细粒度的缩放策略和两级累加机制来减少精度损失，同时保持高性能。
74700编辑于 2025-03-03 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.3.0 版本正式发布
为了满足云上数据湖存储对安全、高性能的要求，腾讯云存储团队正式发布数据加速器 GooseFS 1.3.0 版本。 启用元数据加速功能后，可以提升集群对元数据的操作性能，比如 List、Rename 等操作，可以广泛应用于大数据、高性能计算、机器学习、AI 等场景。 提供了元数据清理工具 元数据一般存储在 GooseFS Master 节点。 在该淘汰策略下，元数据缓存逃出频繁置换陷阱，能够提升缓存命中率，减少缓存淘汰速率，同时 GC 操作恢复正常，进一步减缓了元数据占用的内存增速。 如果您想了解数据加速器 GooseFS 的更多信息，或者上手使用 GooseFS ，请点击[阅读原文]，查阅官网文档。 点击“阅读原文”，查看更多信息！
52110编辑于 2022-08-26 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.2.0 版本正式发布
新春已来临，腾讯云存储团队正式在官方网站上架数据加速器 GooseFS 产品，同时数据加速器 GooseFS 1.2.0 版本正式发布。 开启元数据缓存热开关能力需要先开启透明加速能力，有关透明加速能力文档介绍，可以参考文档（https://cloud.tencent.com/document/product/1424/68294）。 2、集成 CHDFS 认证和 Ranger 鉴权体系 Apache Ranger 是大数据生态系统中用于控制访问权限的一个标准鉴权组件，GooseFS 作为大数据和数据湖场景下的加速存储系统，也已经支持接入 本期重点更新主要集成了 CHDFS 认证和 Ranger 鉴权体系，方便大数据业务尽可能提升业务安全管控能力。 GRPC 问题； 修复了HDFSUnderFileSystemFactory 加载位置不正确的问题； 修复了 log4j2 的安全漏洞问题； 修复了ufsPath 前缀检查错误的问题； 如果您想了解数据加速器
69010编辑于 2022-02-17
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号