获取数据 概述 工欲善其事, 必先利其器. 想做量化, 数据是基本! 本篇我们会介绍如何获取数据. 数据接口种类 获取指定行业, 板块股票列表- history_bars: 指定股票合约历史数据- get_fundamentals: 查询财务数据 行业 & 板块 股票类表 股票代码 & 代码补齐 RiceQuant 获取财务数据 查询财务数据 get_fundamentals - 查询财务数据 get_fundamentals(query, entry_date, interval=None, report_quarter 需要注意, 在 RiceQuant 上查询基本面数据时, 我们是以所有年报的发布日期 (announcement date) 为准, 因为只有财报发布后才成为市场上公开可以获取的数据. |查询财务数据的基准开始日期 |interval|str|查询财务数据的间隔。
目录 历史文章 股票明日涨停预测 指数60日线偏离数据 上证指数 MA60偏离度 深证成指 MA60偏离度 创业板指 MA60偏离度 中小100 MA60偏离度 上证50 MA60偏离度 沪深300 MA60 偏离度 中证500 MA60偏离度 中证1000 MA60偏离度 科创50 MA60偏离度 恒生科技 MA60偏离度 恒生科技指数 MA60偏离度 可转债配债数据 待发转债(进展统计) 待发转债(行业统计 (4发审委通过,PE排序) 待发转债(3证监会受理,按PE排序) 待发转债(2股东大会通过,PE排序) 待发转债(1董事会通过,PE排序) 待发转债(行业:银行) 待发转债(行业:半导体) 可转债策略数据 打新)小白也可以科学的在股市里捡钱 (策略)小白也能懂的可转债上市价格预测 (策略)小白也能懂的可转债及可转债配债 (策略)小白也能懂的可转债策略合集 股票明日涨停预测 明日涨停预测 指数60日线偏离数据 (1董事会通过,PE排序) 待发转债(1董事会通过)清单(按PE排序) 待发转债(行业:银行) 待发转债(按行业:银行)清单 待发转债(行业:半导体) 待发转债(按行业:半导体)清单 可转债策略数据
量化投资应该就是在这种背景下提出的,应该说,量化投资就是互联网金融一直在走的一条路。 第二阶段应该是更多非直接数据的接入,比如用户在更多金融平台上的行为的数据以及用户对于一些金融现象的情绪变化数据。 3.基于互联网技术和金融深度理解的量化投资:我认为未来互联网金融未来最重要的方向还是在量化投资上,技术和金融的深度结合,还是如何利用高效的技术做分析。 虽然量化投资不能解决所有问题,但在一定的时间段内还是能够给金融机构带来相当丰厚的收益。人的作用更多的是如何优化量化投资的逻辑。 我认为量化投资的关键除了数据、技术以外,最关键的就是用什么数据、给什么权重、用什么算法处理,这个算法的更新频率。
我想结合量化投资的理念以及国外量化投资的发展和大家分享对中国量化投资发展的几点看法。 1.量化投资的核心是风险的量化管理。 理性的投资者在投资时追求的不只是收益,更重要的是对风险的管理。 在此背景下,量化投资的出现符合市场的需求,采取量化的方式和手段对风险进行评估,是一种严谨透明的投资理念。 2.大数据处理技术的发展给量化投资提供强大的技术支持。 有很多学者将计算机以及互联网的出现称之为第三次工业革命。在这个信息科技高速发展的变革时代,每个行业都面临着大数据时代带来的挑战。 在投资业,各种渠道提供的海量信息以及高频金融交易数据都在深刻地影响这个行业的发展以及金融市场的有效性。信息系统的发展以及统计工具的进步,都为投资者提供了一种向大数据要收益的可能性。 在大数据时代背景下,各种针对大数据处理的技术的发展将在量化投资中得到应用,为投资者带来更大的回报。 3.金融创新给期待量化投资的投资者提供了丰富的投资工具。
为了得到风险小且信息损失量小的发布数据集,需在发布脱敏数据集之前应对其进行评估,若评估后的脱敏数据集质量达到用户对数据价值要求同时攻击者很难窃取敏感信息,那么就可以发布。 二、K匿名相关知识简介 根据发布数据集的内容不同,数据集存在的风险也不同;如何去量化的评估数据集存在的风险,就应该先对数据的敏感级别进行一个合理的划分。 隐私的度量与量化表示 数据隐私的保护效果是通过攻击者披露隐私的多寡来侧面反映的。现有的隐私度量都可以统一用“披露风险”(Disclosure Risk)来描述。 若s表示敏感数据,事件Sk表示“攻击者在背景知识K的帮助下披露敏感数据s”,则披露风险r(s,K)表示为 r(s,K)=Pr(Sk) 对数据集而言,若数据集所有者最终发布数据集D的所有敏感数据的披露风险都小于阈值 检察官攻击模型窃取隐私的前提是知道目标数据就在待挖掘的数据集中;记者攻击模型不知道目标数据是否在待挖掘的数据集中,但知道目标数据在公开数据集中,其中待挖掘数据集和公开数据集有两种结构关系:重叠和包含;营销者攻击模型不考虑攻击单独的数据记录
近日,来自TEFAF(欧洲古董艺术基金会)的全球市场报告发布了中文版,在这份用量化经济学的方式进行艺术市场分析的报告,彰显了艺术市场一些容易被人忽视的细节和规律。 报告基于Arts Economics收集整理的大量艺术品市场数据和信息,全面地研究了各国拍卖市场、画廊、古董商、私洽交易和线上交易等领域,客观地呈现了全球艺术品市场的现状和发展趋势,并对重点市场深入分析 该份报告首先一个值得关注的数据是,报告的研究撰写者将过去十年全球艺术市场按板块进行动态跟踪分析,结果发现,艺术市场尽管与经济大环境是息息相关的,但是在板块分类中,又有明显的差别。
我们花在摄取数据上的CPU时间越多,我们能达到的吞吐量就越少。一个集群能够维持的索引吞吐量决定了能够实际存储到磁盘上的数据量,从而使之成为可搜索的数据。 摄取过程中花费的每一个额外的CPU周期都意味着更少的可用搜索数据,最终意味着用户最终需要在硬件上花费更多,才可以确保他们有足够的空间来捕获他们需要的数据。 鉴于许多不同数据源的异质性,数据往往需要被处理和解析,以确保它包含正确的值和字段。 从上往下看,常见的取舍和平衡是,通过摄入管道集中数据处理意味着一个更方便和更简单的架构,因为你只需要在一个地方更新管道,并且可以为数据丰富化开辟更多的选择。 比如下图,我们可以将摄取管道遥测设备收集的原始数据通过其他的可视化分析工具进行更进一步的分析。图片这正是可以帮助我们在权衡利弊后做出决定的数据类型。
文章目录 一、要解决的问题 二、量化预置 三、长度量化 四、快捷键及设置 1、快捷键及设置 2、量化开头 3、量化 MIDI 事件结尾 4、量化 MIDI 事件长度 五、对 MIDI 进行量化操作 本博客中的所有设置都是在 ; 三、长度量化 ---- 长度量化 参数设置 : 在下图 处设置长度量化 , 如果设置成 " 1/16 " , 那么使用鼠标拖动时 , 音符的长度只能是 16 分音符的整数倍 ; 上述的 量化预置 ; 2、量化开头 量化开头 : 默认按键 " Q " 是量化开头 ; 将所有音符的开始位置对齐到 " 量化预制 " 对应的格子中 ; 该设置是系统自带的 , 不建议修改 ; 3、量化 MIDI 事件结尾 量化 MIDI 事件结尾 : 首先选中左侧的 " 量化类别 / 量化 MIDI 事件结尾 " , 点击右侧的 " 输入快捷键 " 下方的输入框 ; 输入快捷键后 , 点击 " 指定 " " 快捷键 , 量化音符长度 , 此时音符都排列整齐了 , 音符开头和音符长度进行了量化 , 音符结尾自然也进行了量化 ;
除此之外还有其他量化方式,此处不再说明。 2. 数据类型 尽管上节讨论的是数字信号处理中的量化,但是量化、或是类似量化的操作实际上出现在很多地方。 2.1 数据类型和量化 数据的存储,设计到数据类型,这里讨论两种:整型(integer)和浮点型 (float)。 ,即量化间隔是不同的,实际上,量化精度和数据大小的关系可表示为 ? 即将一个实数域上的数存储为浮点表示,可以看作是一个非均匀量化的过程。 注1:本节中的量化,实际上应该是量化和编码两个过程,不仅仅将数值量化了,同时采用相应的编码方式编码存储。 注2:数据类型的定义比本文描述要复杂,因为设计到0,无穷和非数的处理。 如果期望的运算是在实数域上进行,那么数据按数据类型存储的过程可以看作是量化编码的过程。 数字信号处理领域,接收信号是模拟的,需要通过ADC采样量化,这时量化噪声是必然存在的。
前2天写了tushare获取A股数据, 一些同学让我写一写miniqmt, 那这篇文章写一写miniqmt。 提到miniqmt,一起讲一讲xtquant。 miniQMT 是一个本地的量化交易终端,而xtquant 是一个Python 接口库,用于在Python 程序中与miniQMT 交互。 简单来说,miniQMT 负责接收和存储行情数据,并提供交易接口;xtquant 则充当Python 和miniQMT 之间的桥梁,让量化交易员可以用Python 编写策略并控制交易。 #XtQuant 运行逻辑 Xtdata 作为行情模块,本模块旨在提供精简直接的数据满足量化交易者的数据需求,主要提供行情数据(历史和实时的K线和分笔)、财务数据、合约基础信息、板块和行业分类信息等通用的行情数据 这里写个例子,怎么把数据下载到本地,例子比较简单。
序言 ---- 对于后台管理系统而言(这里指前端部分),可视化的表格展现数据是必不可少的部分,而将这些表格数据导出为 Excel 或 Number 等软件可打开的文件的这种需求也很常见,一般这个功能都是在服务器端如 前端能够将数据展现出来,这意味着前端已经拿到了这些数据,而至于后续想怎么操作完全看自己心情,那么能否脱离后台实现上述需求呢?答案是肯定的,下面简单的介绍一种轻量化的导出方法。 每列数据以逗号 ',' 分隔,每行数据以 ' \r\n ' 分隔。 为了在前端实现对文件的操作,我们需要用到 Web API 中的 Blob 对象, 一个 Blob 对象表示一个不可变的、原始数据的类似文件对象,利用此 Blob 对象即可将 CSV 原始数据封装。 在数据库中存储的数据 key 值肯定是英文而不是中文,但是作为表头展示时当然又得用中文,对此,我们提供一个配置项 config 来说明表头的中英文对应关系。
前言 业务指标量化是衡量企业运营效果的重要手段,通过具体的数据和数值,可以更加直观地了解企业的运营状况,为企业决策提供有力的数据支持。在业务指标量化的过程中,需要注意以下几个方面。 同时,还需要对数据进行深入的分析和挖掘,找出数据背后的规律和趋势,为企业的决策提供有力的支持。 最后,要注重业务指标量化的实际应用。 业务指标量化的目的不是为了追求数字上的完美,而是为了指导企业的实际运营。因此,在应用业务指标量化的过程中,需要结合企业的实际情况和目标,制定具体的计划和措施,以确保业务指标量化的实际效果。 总结 量化指标一般指对一个业务指标进行量化的过程,能用具体数值来体现我们关心的业务指标。 具体来说,在企业管理过程中,业务数据指标在量化之后能够用于考核定量工作,比如,销售额,人力资源的出工资或出勤率指标。
data.iter_content(chunk_size=10000): if chunk: f.write(chunk) print('股票---', code, '历史数据正在下载 ') download('000002', '20210401', '20210516') 提取的数据结果如下 2、新浪财经API 2.1股票 from urllib import request get_stock_data(id, scale, data_len): ''' symnol = 股票代码 scale = 5,15,30,60 时间间隔 datalen = 获取数据长度 rtntype=2&id=0003001&type=m30k&_=1546486249481 rtntype = 返回数据格式,支持:1,2,3,4,5,6 id = 股票代码,后面多加个1 type pic=qlpic_000300_1_4 000300 股票代码 1 标识沪,2 标识深 周期,1: 每分钟,2:5分钟K线,4:30分钟K线,6:日K线,7:周K线,8:月K线 结果数据与同花顺数据存在差异
上一篇文章提到了DuckDB数据库, 这里介绍下语法,方便了解的同学入门学习。 DuckDB 是一款轻量级、高性能的嵌入式分析型数据库(OLAP),专为高效处理数据分析任务设计。 一、数据库连接与初始化 DuckDB 支持内存数据库(临时)和持久化文件数据库: # 内存数据库(数据进程退出后消失) conn = duckdb.connect(database=':memory:' ) # 持久化数据库(数据保存到文件) conn = duckdb.connect(database='stock_data.db') # 自动创建或连接现有文件 二、表管理与数据定义(DDL) 1 ") # DDL 操作 query_result = conn.execute("SELECT ...").fetchall() # 获取查询结果 应用场景建议 数据分析:适合股票数据、日志分析等 数据管道:结合 Pandas 做高性能转换/过滤。 最后提供一个简单的 DuckDB结合akshare 示例。
但最近又有同学问我tick数据的问题, 那就编辑重发下。 之前写过miniqmt获取分钟数据,有同学留言问我 为啥我下载tick数据获取显示没有。 QMT的tick行情供应商修改了下载时间限制。 获取tick数据分为3种情况。 tick快照 tick_data = xtdata.get_full_tick(["000001.SZ"]) # 解析平安银行tick数据 检查数据 print(data) 需要注意,服务商下载tick有时间要求,请了解对应券商的规则。 不然会出现傻傻等等没效果的情况。 如果我的分享对你投资有所帮助,不吝啬给个点赞关注呗。 这个号主要分享AI量化技术相关, 当天的灵感相关记录,相对比较杂。
目录 历史文章 股票明日涨停预测 指数60日线偏离数据 上证指数 MA60偏离度 深证成指 MA60偏离度 创业板指 MA60偏离度 中小100 MA60偏离度 上证50 MA60偏离度 沪深300 MA60 偏离度 中证500 MA60偏离度 中证1000 MA60偏离度 科创50 MA60偏离度 恒生科技 MA60偏离度 恒生科技指数 MA60偏离度 可转债配债数据 待发转债(进展统计) 待发转债(行业统计 (4发审委通过,PE排序) 待发转债(3证监会受理,按PE排序) 待发转债(2股东大会通过,PE排序) 待发转债(1董事会通过,PE排序) 待发转债(行业:银行) 待发转债(行业:半导体) 可转债策略数据 打新)小白也可以科学的在股市里捡钱 (策略)小白也能懂的可转债上市价格预测 (策略)小白也能懂的可转债及可转债配债 (策略)小白也能懂得可转债策略合集 股票明日涨停预测 明日涨停预测 指数60日线偏离数据 (1董事会通过,PE排序) 待发转债(1董事会通过)清单(按PE排序) 待发转债(行业:银行) 待发转债(按行业:银行)清单 待发转债(行业:半导体) 待发转债(按行业:半导体)清单 可转债策略数据
上篇文章写了DuckDB, 对于普通人来说, 可能用mysql数据保存量化数据更合适。 毕竟对于程序员来说, 大家一开始学的数据库基本是Mysql。选择自己最适合的更重要。 这里我写一个处理方案对日线数据入库的操作。 1、首先获取交易日日历(由于tushare需要2000积分, 这个接口暂时用akshare获取) 2、数据源, 最初我准备用miniqmt的。 3、我们看下tushare 的日线行情 接口:daily,可以通过数据工具调试和查看数据 数据说明:交易日每天15点~16点之间入库。 本接口是未复权行情,停牌期间不提供数据 调取说明:基础积分每分钟内可调取500次,每次6000条数据,一次请求相当于提取一个股票23年历史 描述:获取股票行情数据,或通过通用行情接口获取数据,包含了前后复权数据 name__ == '__main__': print("=" * 50) print(" 股票数据初始化系统启动") print("=" * 50) # 首次初始化历史数据
针对可交易的投资商品,理性地运用逻辑分析和回归统计判断市场趋势称为量化交易。 量化策略 量化策略就是赚钱"因子",可以分为基本面和技术面。 使用JQData查询行情数据 安装环境 pip install jqdatasdk 登录并查询股票数据 from jqdatasdk import * if __name__ == '__main__ ': auth('账户', '密码') # 获取深交所(XSHE)股票代码为000001的在2024年的股票数据(开盘价和收盘价) df = get_price('000001
有同学问60分钟, 周线等周期数据如何处理,这里简单说明下。 大家都知道,使用QMT平台提供的基础行情数据,基础周期包括:tick、1m、5m、1d,这些是实际用于存储的周期,如果我们想要使用其他周期的周期数据,则基于这些基础周期数据进行自行合成而得。 我们了解下基础周期与合成周期关系 在miniQMT(XtQuant)体系中,行情数据分为两类: 基础周期(直接存储) tick(分笔成交) 1m(1分钟线) 5m(5分钟线) 1d(日线) 合成周期( ,只需下载其依赖的基础周期数据即可通过函数合成 这里需要注意几个问题: 1、如果直接去获取15m/60m数据,但未下载其依赖的5m基础数据 → 返回结果可能为空或错误 2、每次调用download_minute_data 我们可以启用增量下载模式(仅补缺失数据): 最后,这里提供一个例子, 下载分钟数据,然后分别查询15分钟、60分钟的demo,可以参考。
from skimage import data from matplotlib import pyplot as plt image=data.coffee()#原始图像 ratio=128#设置量化比率 range(image.shape[2]):#图片通道数 image[i][j][k]=int(image[i][j][k]/ratio)*ratio#对图像中的每个像素进行量化 本文的图像量化过程是将256级的彩色图像量化到2级的彩色图像。 量化等级越多,量化比率越低,所得图像层次越丰富,灰度分辨率越高,图像质量好,但数据量大;量化等级越少,量化比率越高,图像层次欠丰富,灰度分辨率低,可能会出现假轮廓,图像质量变差,但数据量较小。 图像量化的作用是在一定主观保真图像质量的前提下,丢掉对视觉影响不大的信息,以获得较高的压缩比。