作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A股选股工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A股选股器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 它是免费的,提供结构化的数据,感觉每天更新也挺快。 预处理 拿到数据后第一步是做预处理。我认为股票的数据主要是做归一化,使得不同股票具有可比性。比如涨幅百分比,复权等等。 最初是用了最近3年的数据,后来考虑到A股从2007年到2015年恰好走过了一个上涨到下降再到上涨的完整周期,因此扩大到了8年的数据。 再是对算法的改进,我尝试引入了“推荐指数”的概念。 股灾日经常是“千股跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选股工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。
并且,隔夜美股的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美股一样暴跌。 台股加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 同时,欧洲三大股指昨日也集体大跌,英国富时100指数收跌1.27%,报7145.74点,创6个月以来新低;法国CAC40指数收跌2.11%;德国DAX指数收跌2.21%,报11712.50点,创下19个月以来的新低 在美股惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 国内媒体认为,美债收益率上升是美股承压原因之一。美国国债收益率本月以来一直攀升,10年美债收益率一度触及3.25%的七年最高水平。10月5日,有数据显示,美国失业率降到了3.7%的历史低位。
八股 浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。 (6)HTTPS握手: 如果使用的是 HTTPS 协议,在通信前还存在 TLS 的一个四次握手的过程。首先由客户端向服务器端发送使用的协议的版本号、一个随机数和可以使用的加密方法。 数据链路层(Data Link Layer): 主要功能:在直接连接的两个设备之间提供可靠的数据传输。 作用:将物理层提供的比特流分组成数据帧,并负责数据的错误检测和纠正。 网络层(Network Layer): 主要功能:实现数据包的路由和转发,为数据在不同网络之间的传输提供路径。 作用:负责逻辑寻址、数据包的路由选择和跨网络的数据传输。IP协议是网络层的代表。 通常用于实现不同应用程序之间的数据交互。 表示层(Presentation Layer): 主要功能:数据格式转换、数据加密和解密。
欢迎来到Python for Finance教程系列的第6讲。 现在我们要准备抓取数据。 我倾向于尝试解析网站ONCE,并在本地存储数据。我不会事先知道可能用数据做的所有事情,但是知道如果我将不止一次地拉它,不妨将它保存起来(除非它是一个巨大的数据集,不是)。 因为我们每天都在拉数据,所以你希望能重新拉动至少最新的数据。也就是说,如果是这样的话,你最好用一个数据库代替一个公司的表,然后从雅虎数据库中提取最新的值。不过,我们现在要把事情简单化! 在下一个教程中,一旦你下载了数据,我们将把感兴趣的数据编译成一个Pandas DataFrame。 ? ticker[:10] 的股票数据 ?
本文将介绍一个高效的亚太股市数据 API,支持日本股市行情、韩国股市行情、新加坡股市行情和印尼股市行情的实时数据查询。 该 API 提供实时价格、K 线数据、历史数据查询、实时 tick、实时报价、低延时报价 api、盘口数据和逐笔成交等功能,特别适合量化交易开发者使用。 主要优势:实时数据:毫秒级更新,支持实时价格和逐笔成交。历史数据查询:批量获取多股 K 线数据,包括开盘价、最高价、最低价、收盘价和成交量(OHLCV)。 批量历史 K 线查询支持多股同时查询历史 K 线数据,周期从分钟线到月线。适合历史数据查询和 K 线数据分析。请求路径:GET /stock/klines? K 线数据分析,支持多股批量操作。
本文将系统介绍 A 股 Level-2 行情数据 API 的技术特点、接入方案及实战应用,帮助开发者在量化交易的道路上构建坚实的数据底座。 数据量方面,A 股 Level-2 行情每日增量约 30-45GB,历史数据可达 10TB 级别。这意味着,处理 Level-2 数据不仅需要高效的 API 接入方案,更需要强大的数据存储与计算能力。 同花顺 iFinD:延迟在 100-200 毫秒,覆盖全市场 A 股及港股数据。采用年费制,数据质量稳定,功能丰富,适合专业投资机构使用。 4.2 实时行情接入代码示例以下提供 iTick API 的完整接入示例,包括 REST API 和 WebSocket 两种方式,涵盖 A 股、港股、美股等市场。 七、结语A 股 Level-2 行情数据 API 为量化开发者打开了一扇通往市场微观结构的大门。从十档盘口的深度分析到逐笔成交的资金流向追踪,Level-2 数据承载着比传统行情丰富十倍的信号价值。
作者寄语 更新之前的港股和美股接口直接返回复权后的数据,方便策略回测使用,具体的使用方法参见文档。 AkShare 股票数据 美股-历史行情 接口: stock_us_daily 目标地址: http://finance.sina.com.cn/stock/usstock/sector.shtml 描述 : 获取美股历史行情数据,设定 adjust="qfq" 则返回前复权后的数据,默认 adjust="", 则返回未复权的数据,历史数据按日频率更新 限量: 单次返回指定上市公司指定 adjust 后的所有历史行情数据 输入参数 名称 类型 必选 描述 symbol str Y 美股代码, 可以通过 「get_us_stock_name」 函数返回所有美股代码, 由于美股数据量大, 建议按需要获取 adjust str , 可以选择返回复权后数据,更新频率为日频 限量: 单次返回指定上市公司的历史行情数据(包括前后复权因子), 提供新浪财经拥有的该股票的所有数据(并不等于该股票从上市至今的数据) 输入参数 名称 类型
• 媒体流(Stream):表示时间轴上的一段连续数据,如一段声音数据、一段视频数据或一段字幕数据,可以是压缩的,也可以是非压缩的,压缩的数据需要关联特定的编解码器(有些码流音频他是纯PCM)。 • 数据帧/数据包(Frame/Packet):通常,一个媒体流是由大量的数据帧组成的,对于压缩数据,帧对应着编解码器的最小处理单元,分属于不同媒体流的数据帧交错存储于容器之中。 • 编解码器:编解码器是以帧为单位实现压缩数据和原始数据之间的相互转换的。 AVPacket存储一帧压缩编码数据。AVFrame存储一帧解码后像素(采样)数据。如果上下文数据保存在解码器里面?多路解码的时候数据肯定有冲突。 • size:压缩编码数据大小• pos:数据的偏移地址• stream_index:所属的AVStreamAVFrame• data:解码后的图像像素数据(音频采样数据)• linesize:对视频来说是图像中一行像素的大小
作者寄语 熟悉东方财富的小伙伴一定听过东方财富的股吧评论数据,无论是学术论文还是业界的金工报告都有提及相关内容,本次更新根据股吧浏览、自选股添等数据统计得出,关注指数越高代表该股越受市场关注的千股千评指数接口 ,本数据有东方财富制定。 /stockcomment/ 描述: 获取东方财富网-数据中心-特色数据-千股千评 限量: 单次获取所有数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 TDate 接口示例 import akshare as akstock_em_comment_df = ak.stock_em_comment()print(stock_em_comment_df) 数据示例 - - -3953 2020-03-23T00:00:00 900955 海创B股 ...
作者寄语 更新 破净股统计 接口,破净是指市值跌破净资产值,破净股是指股票的每股市场价格低于它每股净资产价格。 数据的时间段为:2005年-至今 更新接口 "stock_a_below_net_asset_statistics" # A 股破净股统计 破净股统计 接口: stock_a_below_net_asset_statistics 目标地址: https://www.legulegu.com/stockdata/below-net-asset-statistics 描述: 获取 A 股破净股统计数据 限量: 单次获取所有历史数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 date datetime Y 交易日 below_net_asset float Y 破净股家数 total_company = ak.stock_a_below_net_asset_statistics() print(stock_a_below_net_asset_statistics_df) 数据示例
• 媒体流(Stream):表示时间轴上的一段连续数据,如一 段声音数据、一段视频数据或一段字幕数据,可以是压缩 的,也可以是非压缩的,压缩的数据需要关联特定的编解 码器(有些码流音频他是纯PCM)。 • 数据帧/数据包(Frame/Packet):通常,一个媒体流是 由大量的数据帧组成的,对于压缩数据,帧对应着编解码 器的最小处理单元,分属于不同媒体流的数据帧交错存储 于容器之中。 • avcodec_decode_audio4():解码一帧音频数据 • avcodec_send_packet(): 发送编码数据包 • avcodec_receive_frame(): 接收解码后数据 AVPacket 存储一帧压缩编码数据。 AVFrame 存储一帧解码后像素(采样)数据。 如果上下文数据保存在解码器里面? 多路解码的时候数据肯定有冲突。 • size:压缩编码数据大小 • pos:数据的偏移地址 • stream_index:所属的AVStream AVFrame • data:解码后的图像像素数据(音频采样数据) • linesize
作者寄语 本次接口主要东方财富的行业板块中成份股,可以与同花顺的对照使用。 更新接口 "stock_board_industry_cons_em" # 东方财富-成份股 东方财富-成份股 接口: stock_board_industry_cons_em 目标地址: https: stock_board_industry_cons_em_df = ak.stock_board_industry_cons_em(symbol="小金属") print(stock_board_industry_cons_em_df) 数据示例 52.16 4.03 4 5 600392 盛和资源 23.12 8.90 ... 21.12 21.23 8.03 36.60 4.97 5 6 002182 云海金属 22.92 7.71 ... 21.22 21.28 7.95 42.14 4.91 6 7 300811 铂科新材 106.23
对于金融科技开发者而言,如何稳定、低延迟地获取美股数据是开发全球资产配置工具的第一步。本文将基于 StockTV 全球金融 API,为你详解如何快速集成美股实时行情、历史数据及指数信息。 一、 美股接口对接美股数据通常面临着交易所授权费高昂、API 协议复杂(如 FIX 协议)等痛点。 涨跌幅排行榜:使用 stock/updownList 接口快速获取美股全市场的“涨幅榜”或“跌幅榜”,实时挖掘热点个股。 数据缓存:对于 stock/companies 接口提供的公司描述、行业分类等静态信息,建议在本地数据库做缓存,以优化 App 加载速度。 结语对接美股数据并不复杂,关键在于选择一个稳定且数据维度丰富的供应商。StockTV API 以其标准化的 JSON 结构和覆盖全球的金融数据,极大地降低了金融应用的开发门槛。
核心技术工具说明本次自动化选股项目依赖 Python 的三大核心库,各自承担关键职责:Requests:轻量高效的 HTTP 请求库,负责向金融数据网站发送请求,获取公开的个股行情与财务数据,是爬虫实现的核心工具 Pandas:高性能的数据处理与分析库,负责对提取的金融数据进行清洗、整理、指标计算与筛选,是实现选股逻辑的关键支撑。2. 二、项目实现流程概述本次 Python 自动化选股的核心流程分为四步:爬虫搭建:抓取 A 股市场个股的基础信息(股票代码、名称)与核心财务 / 行情数据(每股收益、净利润增长率、市盈率、市净率等);数据清洗 :处理抓取到的缺失值、异常值、格式错误等问题,形成标准化数据集;选股逻辑实现:基于价值投资与成长投资的核心指标,预设筛选规则,利用 Pandas 完成自动化筛选;结果输出:将筛选出的潜力股整理为表格,保存为本地文件方便查阅 A 股列表数据,提取核心选股指标。
2,引擎:InnoDB,MyIsam 3,超键,候选键,主键,外键 4,Sql约束: 主键约束:唯一性,非空 唯一约束:唯一性,有一个可为空 检查约束:对列的数据范围限定 默认约束:数据的默认值 外键约束 5,varchar和char 6,in和exist(不会草) 7,drop,delete,truncate的区别 drop删表,删结构 delete 删元组,但是会记入到日志中,可以回滚。 8,mysql查询过程 事务 1,ACID 2,事务隔离级别 3,什么是事务 4,什么是脏读,不可重复读,幻读 5,事务实现原理 6,redo log,undo log 7,binlog 8,事务中可以混合使用引擎吗 不可以,正常情况下没问题,但是如果需要回滚,innodb没问题,myisam就会无法撤销,出现数据不一致。 5,什么是死锁,怎么解决 6,隔离级别和锁的关系 7,优化锁的意见 8,Select 。。。
日股历史数据和实时报价对量化工作意义重大。 日股 API 为量化工作者获取这两类数据提供便捷途径,专业日股 API 能定制数据获取,提高效率和准确性,满足量化交易要求,免费报价 API 虽有局限,但对初步量化研究和小型量化团队也有价值,能降低成本开展工作 近期日股整体呈现上涨趋势,具体来看以下几个方面:指数表现:当地时间 1 月 15 日,日股三大股指全面大幅上涨。 上涨原因分析通胀数据符合预期:最新发布的消费者价格指数(CPI)数据显示,日本 2024 年 12 月 CPI 同比上升 2.9%,环比升 0.4%,均与市场预期相符。 请求K线python -m pip install requests"""**iTick**:是一家数据代理机构,为金融科技公司和开发者提供可靠的数据源APIs,涵盖外汇API、股票API、加密货币API
港美A股实时盘口数据:Python 接入示例教程在量化交易和大宗交易决策中,实时盘口数据(也称为市场深度或 Level 2 数据)是关键要素。 本文聚焦港股(HK)、美股(US)和 A 股(SH/SZ)的实时盘口,介绍如何通过 RESTful API 和 WebSocket 方式接入这些数据,支持多市场覆盖和毫秒级更新。 例如,在港股市场,腾讯控股(700.HK)的盘口可能显示买一价 568 HKD,挂单量 75000 股。 美股 (US):如 AAPL (苹果)、TSLA (特斯拉)。A 股 (SH/SZ):上海和深圳交易所股票。接入方式有批量查询(REST)和实时推送(WebSocket)。 支持港美 A 股订阅(如 params: "700$HK,AAPL$US,600000$SH")。
stock_rank_cxd_ths" # 创新低 创新低 接口:stock_rank_cxd_ths 目标地址:http://data.10jqka.com.cn/rank/cxd/ 描述:同花顺-数据中心 -技术选股-创新低 限量:单次指定 symbol 的所有数据 输入参数 名称 类型 描述 symbol str symbol="创月新低"; choice of {"创月新低", "半年新低", "一年新低 akshare as ak stock_rank_cxd_ths_df = ak.stock_rank_cxd_ths(symbol="创月新低") print(stock_rank_cxd_ths_df) 数据示例
更新接口 "stock_dzjy_hygtj" # 大宗交易-活跃A股统计 大宗交易 活跃A股统计 接口: stock_dzjy_hygtj 目标地址: http://data.eastmoney.com /dzjy/dzjy_hygtj.aspx 描述: 获取东方财富网-数据中心-大宗交易-活跃 A 股统计 限量: 单次返回所有历史数据 输入参数 名称 类型 必选 描述 period str Y period import akshare as ak stock_dzjy_hygtj_df = ak.stock_dzjy_hygtj(period='近三月') print(stock_dzjy_hygtj_df) 数据示例
作者寄语 本次更新港股通成份股的接口 更新接口 "stock_hk_ggt_components_em" # 港股通成份股 港股通成份股 接口: stock_hk_ggt_components_em 目标地址: https://quote.eastmoney.com/center/gridlist.html#hk_components 描述: 东方财富网-行情中心-港股市场-港股通成份股 限量: 单次获取所有港股通成份股数据 输入参数 名称 类型 描述 - - - 输出参数 名称 类型 描述 序号 int64 - 代码 object - 名称 object - 最新价 float64 注意单位 HKD 涨跌额 float64 - 涨跌幅 float64 - 今开 float64 - 最高 float64 - 最低 float64 - 昨收 float64 - 成交量 float64 注意单位: 股 stock_hk_ggt_components_em_df = ak.stock_hk_ggt_components_em() print(stock_hk_ggt_components_em_df) 数据示例