- 综合排序
- 最热优先
- 最新优先
- 来自专栏王的机器
『为金融数据打标签』「2. 元标签方法」
相信你已经被绕晕了，我们先从熟悉的 MNIST 手写数字分类问题下手，来介绍和元标签相关的各种概念。弄懂基本概念后再回到金融资产数据打标签的问题。 2 元标签 - MNIST 分类 以下代码是在 sklearn 0.22 版本下运行的，就是为了使用 plot_roc_curve 这个方便的函数。 3 元标签 - 金融资产数据 在给金融资产数据打标签的整个流程分为两步： 确定基础标签 ybase：用〖三隔栏方法〗一贴介绍的方法 当 ybase = 1 时，止盈隔栏先被触及 当 ybase = - 在金融数据打标签的应用上，元标签是指在第一个模型已经确定头寸方向的情况下，希望通过第二个模型来确定头寸大小。 量化基本面投资其实是一种对基本面投资和量化投资的融合，是将计算机算法与人类的分析结合起来的一种 1+1>2 的新型投资方式。 使用基本面模型挑选标的并确定头寸方向，使用元标签方法确定标签。
2.6K21发布于 2019-12-25 - 来自专栏大数据&分布式
统一元数据：元模型定义、元数据采集
背景 元数据管理可分为如下5个流程步骤：元模型定义、元数据采集、元数据加工、元数据存储、元数据应用。其中，元模型定义是整个元数据管理的前提和规范，用于定义可管理的元数据范式。 元模型定义 元模型是元数据标准的M2层，是对元数据M1层的抽象。更多详情可参考《数据资产管理体系与标准》。 基于元数据定义数据范式 M2：元模型层，是针对M1模型层的抽象，例如，Hive元模型可理解为Hive Metastore的相关表定义 M3：元元模型层 Hive Metastore 的元模型定义如下所示 SERDE_ID、关联字段存储CD_ID COLUMNS_V2：表字段定义 PARTITION_KEYS：表分区字段定义，外键关联表：TBL_ID PARTITIONS：表分区列表详情，外键关联表：TBL_ID 对于传统关系型数据库(如MySQL等)，使用通用的JDBC连接方式，定义各数据源类型的元数据采集SQL语句，从底层引擎的元数据内置系统库表爬取所需元数据信息；(2).
4.1K43编辑于 2024-05-14 - 来自专栏前端博客
JPEGExifTIFF格式解读(2):图片元数据保存及EXIF详解
图片元数据（Metadata）元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息。 为了解决这个问题，Adobe公司推出用XMP管理元数据的方法，即将图像中的元数据如Exif，IPTC等都纳入XMP库中，由XMP管理。 元数据的嵌入方式因图像格式而异，不同格式的图像文件有不同的嵌入方式。 XXXXFFD9缩略图像Exif与TIFFTIFF是一种图像文件格式，包含图像数据和元数据。 JPEG图片更快的加载图像 http转载本站文章《JPEG/Exif/TIFF格式解读(2):图片元数据保存及EXIF详解》,请注明出处：https://www.zhoulujun.cn/html/theory
15.9K31编辑于 2023-04-22 - 来自专栏文渊之博
探索SQL Server元数据（三）：索引元数据
背景 在第一篇中我介绍了如何访问元数据，元数据为什么在数据库里面，以及如何使用元数据。介绍了如何查出各种数据库对象的在数据库里面的名字。 本篇我将会介绍元数据中的索引，不仅仅是因为它们本身很重要，更重要的是它们是很好的元数据类型，比如列或者分布统计，这些不是元数据中的对象。 索引对于任何关系数据库表都是必不可少的。 name FROM sys.indexes i2 WHERE t.object_ID = i2.object_ID ORDER BY i2.name 元数据中还有其他类型的索引吗? 还有两种比较特殊的索引，一是空间索引，其信息在sys.spatial_index_tessellations 和 sys.spatial_indexes表中。 为此，它需要估计数据的“基数”，以确定为任何索引值返回多少行，并使用这些“stats”对象告诉它数据是如何分布的。
1.4K10发布于 2018-08-03 - 来自专栏java编程那点事
合并元数据
如同ProtocolBuffer，Avro，Thrift一样，Parquet也是支持元数据合并的。用户可以在一开始就定义一个简单的元数据，然后随着业务需要，逐渐往元数据中添加更多的列。 在这种情况下，用户可能会创建多个Parquet文件，有着多个不同的但是却互相兼容的元数据。Parquet数据源支持自动推断出这种情况，并且进行多个Parquet文件的元数据的合并。 因为元数据合并是一种相对耗时的操作，而且在大多数情况下不是一种必要的特性，从Spark 1.5.0版本开始，默认是关闭Parquet文件的自动合并元数据的特性的。 可以通过以下两种方式开启Parquet数据源的自动合并元数据的特性： 1、读取Parquet文件时，将数据源的选项，mergeSchema，设置为true 2、使用SQLContext.setConf // 一个是包含了name和age两个列，一个是包含了name和grade两个列 // 所以， 这里期望的是，读取出来的表数据，自动合并两个文件的元数据，出现三个列，name、age、grade /
1.3K10编辑于 2023-02-25 - 来自专栏大数据架构师成长之路
元数据解读
元数据应用领域较广，种类甚多， 按照不同应用领域或功能，元数据分类有很多种方法或种类，元数据一般大致可为三类：业务元数据、技术元数据和操作元数据。 元数据架构 元数据战略是关于企业元数据管理目标的说明，也是开发团队的参考框架。元数据战略决定了企业元数据架构。 元数据架构可分为三类：集中式元数据架构、分布式元数据架构和混合元数据架构。 集中式元数据架构： 集中式架构包括一个集中的元数据存储，在这里保存了来自各个元数据来源的元数据最新副本。 保证了其独立于源系统的元数据高可用性；加强了元数据存储的统一性和一致性；通过结构化、标准化元数据及其附件的元数据信息，提升了元数据数据质量。集中式元数据架构有利于元数据标准化统一管理与应用。 混合式元数据架构： 这是一种折中的架构方案，元数据依然从元数据来源系统进入存储库。但是存储库的设计只考虑用户增加的元数据、高度标准化的元数据以及手工获取的元数据。
1.6K51发布于 2020-06-10 数据管理最容易混淆的3个概念：元数据、数据元、元模型
做数据这行的，肯定常听到“元数据”“数据元”“元模型”这三个词。开会时有人说“元数据管理”，转头又有人提“数据元标准”，偶尔还穿插“元模型设计”，但真要问它们仨到底啥区别，估计不少人说不清楚。 比如银行的标准里：“身份证号”这个数据元必须符合国家标准GB 11643-1999，长度18位，最后一位可以是X。2.主数据管理主数据（比如“用户”“商品”）的核心信息都是由数据元组成的。 比如支付接口里的“交易金额”，必须按数据元的标准来定义:类型是decimal，长度18位，保留2位小数，这样支付系统和账务系统对接时才不会因为格式问题出错。 比如用星型模型设计销售主题，元模型会规定：“事实表”必须包含度量字段（比如“销售额”）和外键（比如“用户ID”“商品ID”），“维度表”必须包含描述信息（比如“商品名称”“分类”）2.元数据管理平台平台本身也需要元模型来定义 2.开发数据时开发人员照着FineDataLink的元模型设计表结构，按数据元的标准定义每个字段，开发过程中产生的信息，比如谁开发的、什么时候上线的等，会自动变成元数据。
3.4K11编辑于 2025-08-19- 来自专栏大数据和云计算技术
元数据概念
刘耀铭同学元数据系列作品的第一篇，大家支持！ 其他元数据相关系列文章： 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据（data about other data）,用于提供某种资源有关信息的结构化数据（structed 字面上看无法看出所以然，但其实看对应的英文含义就明确了，Meta指“对······的描述”类似Meta tag，所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为3类：DBMS数据字典、ETL处理流程产生的日志、BI建模等。 DBMS数据字典 数据库管理系统（DBMS）中的元数据一般在所有的数据仓库都会包含，因为数据仓库一般都是基于数据库搭建的，而数据库本身的管理系统就会自动维护一套数据字典供用户查询。
1.5K110发布于 2018-03-08 - 来自专栏iOS打包，上架知识大全
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 $count : 0); # 方法 2 # 使用prepare( ) 及 execute( ) 执行 $query my $sth = $dbh->prepare ($query); my $count mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
82310编辑于 2023-05-05 - 来自专栏阮一峰的网络日志
元数据（MetaData）
元数据是用来描述数据的数据（Data that describes other data）。单单这样说，不太好理解，我来举个例子。 这个例子中的"年龄"、"身高"、"相貌"、"性格"，就是元数据，因为它们是用来描述具体数据/信息的数据/信息。 当然，这几个元数据用来刻画个人状况还不够精确。 我们每个人从小到大，都填过《个人情况登记表》之类的东西吧，其中包括姓名、性别、民族、政治面貌、一寸照片、学历、职称等等......这一套元数据才算比较完备。 在日常生活中，元数据无所不在。 有一类事物，就可以定义一套元数据。 喜欢拍摄数码照片的朋友应该知道，每张数码照片都包含EXIF信息。它就是一种用来描述数码图片的元数据。 在电影数据库IMDB上可以查到每一部电影的信息。IMDB本身也定义了一套元数据，用来描述每一部电影。
1.4K100发布于 2018-04-13 - 来自专栏IT资讯新闻
MySQL 元数据
数据库和数据表的信息： 包含了数据库及数据表的结构信息。 MySQL服务器信息： 包含了数据库服务器的当前状态，版本号等。 在MySQL的命令提示符中，我们可以很容易的获取以上服务器信息。 $count : 0); # 方法 2 # 使用prepare( ) 及 execute( ) 执行 $query my $sth = $dbh->prepare ($query); my $count mysqli_affected_rows ($conn_id) : 0); print ("$count 条数据被影响\n"); ---- 数据库和数据表列表 你可以很容易的在MySQL服务器中获取数据库和数据表列表 你也可以使用 SHOW TABLES 或 SHOW DATABASES 语句来获取数据库和数据表列表。 PERL 实例 # 获取当前数据库中所有可用的表。 > ---- 获取服务器元数据 以下命令语句可以在 MySQL 的命令提示符使用，也可以在脚本中 使用，如PHP脚本。
1.3K00发布于 2021-07-16 - 来自专栏大数据技术架构
元数据管理 | Hive 元数据迁移与合并
hive2、hive3、hive4 的元数据全部合并到 hive1 的元数据 Mysql 中，然后就可以在 hive1 中处理 hive2、hive3、hive4 中的数据。 源 hive 中的所有表的主键 ID 必须修改，否则会和目标 hive2 中的主键 ID 冲突，导致失败； 源 hive 中所有表的主键 ID 修改后，但必须依然保持源 hive1 中自身的主外健依赖关系 我们使用了 mybatis 进行了源和目标这 2 个 Mysql 的数据库操作，从源 Mysql 中按照上面的逻辑关系取出元数据修改主外健的 ID 号再插入到目标 Mysql 数据库中。 文件中中配置源和目的数据库的 JDBC 配置项 执行元数据迁移命令 hive-tools 会在迁移元数据之前首先检查源和目的元数据库中重名的 hive db，终止元数据迁移操作并给出提示 执行删除重名数据库命令 再次执行执行元数据迁移命令 检查元数据迁移命令窗口日志或文件日志，如果发现元数据合并出错，通过对目的数据库进行执行删除指定 hive db 的命令，将迁移过去的元数据进行删除，如果没有错误，通过 hive
2.6K30发布于 2021-04-29 - 来自专栏Qt核心机制
Qt核心：元对象系统（1）- 元对象和元数据
所以推测，Qt 大概率是采用某种方法拿到了方法和函数名的映射数据，从而完成转换，这部分数据我们暂且称为元数据。2 元数据和元对象什么是元数据？ 4.1 元对象声明联系前面的元数据的说明，朴素的想法是我们可以用另一个对象来描述这些信息，即元对象，在运行时通过这个对象来获取相关的具体类型等。 中，头文件中的部分大概有200行左右，但是看出来其中是有明显的划分的，在元对象中定义了用来存放元数据的地方（源文件的604-612）行，我们可以看到其中存放的元数据的结构元数据以字符串和数组的形式存放在私有的结构体中 QMetaObject对象的私有数据中有几个变量需要初始化首先是const QByteArrayData *stringdata; // 元数据的字符串数据，moc文件中解析来的数据如下。 宏的相关类的信息，生成moc文件，得到元数据并构造元对象将生成的文件和源文件一起编译
3.2K10编辑于 2022-10-17 - 来自专栏程序猿DD
Spring Boot 2.x基础教程：配置元数据的应用
如果你实在想去掉，那么也不建议用上面说的方法，而是建议通过完善配置元数据的方式来完成。所以，今天就来具体说说配置元数据的应用！ 啥是配置元数据？ 我们不妨打开一个已经创建好的Spring Boot项目，查看一下它的Spring Boot依赖包，可以找到如下图的一个json文件： 这里报错的就是配置的元数据信息。 对，这些就是我们常用的Spring Boot原生配置的元数据信息。 这下知道配置元数据可以用来做啥了吧？它可以帮助IDE来完成配置联想和配置提示的展示。 而我们自定义配置之所以会报警告，同时也没有提示信息，就是因为没有这个元数据的配置文件！ 配置元数据的自动生成 既然知道了原理，那么接下来我们尝试用一下配置元数据试试！ 此时我们可以在工程target目录下找到元数据文件： 同时，我们在配置文件中尝试编写这个自定义的配置项时，可以看到编译器给出了联想和提示： 并且，编写完配置之后，也没有高亮警告了！
47010编辑于 2023-04-04 - 来自专栏用户2276240的专栏（5）
java - Annotation元数据
Annotation元数据（一） 一、Annotation究竟是什么？ 是java5.0中的新特征 数据的数据（元数据） Annotation和访问修饰符一样，应用于包、类型、构造方法、方法、成员变量、参数、本地变量的声明中。 * 表示Column是实现了java.lang.annotation.Annotation接口的一个类 * 注释类与接口的区别 * 1） interface @interface * 2) public @interface IfInvoke { public boolean invoke(); } 注意： @Retention(RetentionPolicy.RUNTIME)：表示在运行时元数据还能被访问 void extraSalary() ［和普通没什么两样］ 如果改成如下的定义方式： @Documented @Retention(RetentionPolicy.RUNTIME) //表示在运行时元数据还能被访问
26600编辑于 2025-04-05 元数据、数据元、元模型：三个你似懂非懂，但必须弄清的概念
这些完整的“数据血缘”信息，就是非常宝贵的元数据，能帮你快速定位数据问题。2.业务元数据这主要关心数据的“含义”层面，是业务人员最需要的。业务定义：这个“销售额”字段，具体指的是什么？ 第二部分：数据元——数据的“标准原子”如果说元数据是描述数据的“外部信息”，那么数据元就深入到数据的“内部核心”了。数据元，是数据不可再分的最小单元，并且经过了严格的定义和标识。 表示：这个数据以什么形式出现。是值域（比如，用“1”代表男，“2”代表女，“9”代表未说明），还是数据类型（字符型）、数据格式（1位数字）。数据元的核心目标，是解决“语义一致性”问题。 一个丰富的元数据系统能直接告诉你：“你要的销售数据在这张表里，这个字段叫‘净销售额’，它是由A系统的订单表和B系统的退款表在每天凌晨2点加工生成的，质量评分是A级，归属部门是财务部，联系人是谁。” 你应该积极学习和使用公司的元数据管理工具，养成查看数据血缘和业务定义的习惯。这是提升数据分析效率和质量的最快路径。Q2：数据元听起来很理论化，在中小企业里真的用得上吗？
57210编辑于 2026-01-14- 来自专栏BI工具
元数据是什么？举例告诉你什么是元数据
元数据，一个简单的定义是描述数据的数据。在企业中，无论哪里有数据，都有相应的元数据。只有存在完整而准确的元数据，我们才能更好地理解数据并充分利用数据的价值。 为了让大家更好地了解什么是元数据，亿信华辰小编针对元数据的类型，举例说明什么是元数据。 元数据分类及举例说明 一、技术元数据 1.物理元数据描述物理资源的元数据，例如：服务器，操作系统，计算机机房位置和其他信息。 2.数据源元数据描述了数据源的元数据，通常包括四种类型的信息： 数据源地址（例如IP，PORT等） 物理拓扑（例如主备，角色等） 权限（例如用户名，密码等） 以及库名称，版本，域名等 3.存储元数据描述对象存储的元数据 例如业务线、板块、过程数据域、主题域维度、属性索引事实、度量市场与应用。 2.应用元数据指描述了数据应用类的元数据。 3.分析元数据是指从数据分析的角度描述业务元数据。
8.1K00发布于 2020-07-02 - 来自专栏大数据和云计算技术
元数据的作用
其他相关文章： 元数据概念 基于元数据驱动的ETL Hive 元数据表结构详解 上一遍我们了解了什么是元数据，即元数据的定义，我们知道了元数据是对数据的描述以及解释，它用来说明数据内容质量状况和其他特征的背景信息 那么元数据具体有什么作用呢？ 1、元数据是进行数据集成所必须的。 怎么理解？ 元数据做到了对数据仓库有效的数据存储与管理； 2、元数据可以帮助用户理解数据仓库的数据 元数据为运行时的系统提供了统一的可读的系统模型，系统运行时可以使得实体对象通过运行时的元数据模型来得知自身的结构、 4、元数据可以支持需求变化 元数据独立于平台，无论使用什么技术平台，元数据本身不受影响。所以元数据可以支持需求的变化。 5、元数据是独立性强，是与平台无关的，无论使用什么技术平台，元数据自身不收到任何影响，这就保证了元数据的通用性和移植性，能使它发挥最大的效用。
2.6K50发布于 2018-03-08 数据库之元数据
目录 1、数据库中的元数据 1.1 什么是数据库元数据 1.2 数据库元数据的作用 1.3 如何获取元数据 2、 数据库元数据 2.1 构建环境 2.2 获取数据库综合信息 2.3 获取数据库列表 2.4 获取某数据库中的所有表信息 2.5 获取指定数据库表中的字段属性 3、参数元数据 3.1 获取预编译SQL语句中占位符参数的个数 4、 结果集元数据 ---- 1、数据库中的元数据 1.1 什么是数据库元数据 元数据（MetaData），是指定义数据结构的数据。 例如这张表的表头（列名） 当然还有数据库名和表名。 除了这些还有用户名、版本名以及从SQL语句得到的结果中的大部分字符串都是元数据。 1.2 数据库元数据的作用 那数据库中的元数据有什么作用呢？ 2、 数据库元数据 数据库元数据（DatabaseMetaData）：是由Connection对象通过getMetaData方法获取而来，主要封装了是对数据库本身的一些整体综合信息，例如数据库的名称，
1.3K10编辑于 2022-11-07- 来自专栏Greenplum
Greenplum 元数据信息
Greenplum 元数据信息 Greenplum 元数据信息 1、 获取集群中数据库信息 1.1 集群中的创建的数据库信息 1.2 查看每个数据库的储存大小 1.3 查看集群中hostname 1.4 查看集群数据库的版本信息 1.5 查看集群master与segment安装的信息 2、 查看数据库下schema信息 2.1 查看数据库下创建的schema信息 2.2 查看数据库下每个 AO 表 select t2.nspname, t1.relname from pg_class t1, pg_namespace t2where t1.relnamespace=t2.oid and relstorage in ('c', 'a'); 3.11 查看数据库中的堆表 select t2.nspname, t1.relname from pg_class t1, pg_namespace t2.nspname, t1.relname from pg_class t1, pg_namespace t2where t1.relnamespace=t2.oid and relstorage in
1.6K70发布于 2020-07-02
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号