作者寄语 新增:股市-外汇-商品-工行-农行的实时报价数据接口,可以配合之前的 watch_jinshi_fx 接口来使用,本次主要还是以熟悉 websocket 接口为主,本次接口比 watch_jinshi_fx 更新接口 "watch_jinshi_quotes" # 行情报价实时数据接口 Websocket-行情 接口: watch_jinshi_quotes 目标地址: https://datacenter.jin10 .com/price_wall 描述: 获取股市、外汇、商品、工行、农行实时行情数据, 如需要存储数据请修改 「on_message」 接口 限量: 主动推送 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 - - - 基于 websocket 的接口 接口示例 import akshare as ak ak.watch_jinshi_quotes() 数据示例
作者寄语 更新 基金数据-基金行情数据 接口,本接口主要返回特定基金的开高低收成交量的数据。 更新接口 "fund_etf_hist_sina" # 基金数据-基金行情数据 基金行情 接口: fund_etf_hist_sina 目标地址: http://vip.stock.finance.sina.com.cn /fund_center/index.html#jjhqetf 描述: 获取新浪财经-基金行情的日频率行情数据 限量: 单次返回指定基金的所有数据 输入参数 名称 类型 必选 描述 symbol str as ak fund_etf_hist_sina_df = ak.fund_etf_hist_sina(symbol="sz169103") print(fund_etf_hist_sina_df) 数据示例
更新接口 "stock_zh_a_spot_em" # 沪深京 A 股-行情数据 沪深京 A 股 接口: stock_zh_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#hs_a_board 描述: 东方财富网-沪深京 A 股-实时行情数据 限量: 单次返回所有沪深京 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 import akshare as ak stock_zh_a_spot_em_df = ak.stock_zh_a_spot_em() print(stock_zh_a_spot_em_df) 数据示例
由于平台限制仅可显示10页,每页30条招聘信息,除去个别无效记录,最终获取有效数据大概在280条招聘记录。 当然,由于这里仅获取到了10页数据而并非海量数据,所以样本排序先后将对数据真实分布有一定影响。 选取某直聘平台,按照目标岗位设置搜索条件,可以直接访问10页数据,以此为目标,分别爬取各招聘记录的如下信息,且各字段信息直接从查询首页即可完整获取,无需分别访问各岗位详情页: 岗位title 地理区域 ;但对工作经验往往有一定要求,尤其是要求具有3-5年以及5-10年工作经验的大数据岗位居多; 薪资情况,整体位于20-40K之间,顶薪接近60K,也有10K以下低薪岗位;平均值28.3K,中位数27K。 为了了解大数据岗位从业技能要求,对岗位招聘的标签信息进行统计分析,得到全样本岗位标签TOP10如下,易见以下结论:大数据50%以上岗位都要求掌握数仓技能(数据存储);大数据的核心语言是Java(当然这与阿里主用
作者寄语 本次更新沪深 A 股的历史行情数据,本次采用网易的数据,该接口可以获取总市值、流通市值数据,可以补充东财和新浪的数据,但是该接口不能返回复权数据。 更新接口 "stock_zh_a_hist_163" # 历史行情数据-网易 历史行情数据-网易 接口: stock_zh_a_hist_163 目标地址: http://quote.eastmoney.com from=classic 描述: 网易财经-行情首页-沪深 A 股-每日行情; 该接口主要用户获取流通市值、总市值等指标 限量: 单次返回指定沪深 A 股(不包含北交所)上市公司指定日期间的历史行情日频率数据 , 该接口只返回未复权数据 输入参数 名称 类型 描述 symbol str symbol='sh601318'; 股票代码可以在 ak.stock_zh_a_spot() 中获取 start_date 中国平安 ... 9.137581e+09 1.576854e+12 9.344256e+11 4 2021-01-08 601318 中国平安 ... 1.006906e+10
库里是过去抓取的行情数据,间隔6秒,每分钟8-10个数据不等,还有开盘前后的一些数据,用Pandas可以更加优雅地进行处理。 %S') for idx in df['time']] #索引列 df['newc']=ii df=df.set_index('newc') 这样就得到datetime类型的index了,要保留分钟的数据 因为诸如1分钟、5分钟、10分钟、半小时等各种时间节点,可以快速表示无需复杂的代码。
作者寄语 本次修改原来的 「全球债券行情数据」 接口,重命名函数和增加频率字段,可以设定:日、周、月的数据频率。 更新接口 "bond_investing_global" # 全球债券行情数据 全球债券行情数据 接口: bond_investing_global 目标地址: https://cn.investing.com /rates-bonds/ 描述: 获取全球政府债券行情与收益率, 由于涉及国家和债券多(「近1000」个债券)具体参见国家-债券目录 具体的调用方式可以参照: 先查询指数所在的国家名称; 复制网页上国家名称 choice of {"每日", "每周", "每月"} start_date str Y start_date='2000/01/01' end_date str Y end_date='2019/10 2020-05-24 1.611 1.500 1.611 1.500 7.40 2020-05-17 1.500 1.400 1.500 1.400 21.95 2020-05-10
作者寄语 本次新增 stock_sz_a_spot_em 接口,该接口主要用于获取深圳证券交易所所有股票的行情数据,同时增加总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段,该接口可以获取所有股票当前时点的多字段信息 更新接口 "stock_sz_a_spot_em" # 深 A 股-行情数据 深 A 股 接口: stock_sz_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#sz_a_board 描述: 东方财富网-深 A 股-实时行情数据 限量: 单次返回所有深 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - import akshare as ak stock_sz_a_spot_em_df = ak.stock_sz_a_spot_em() print(stock_sz_a_spot_em_df) 数据示例
作者寄语 本次新增 stock_sh_a_spot_em 接口,该接口主要用于获取上海证券交易所所有股票的行情数据,同时增加总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段,该接口可以获取所有股票当前时点的多字段信息 更新接口 "stock_sh_a_spot_em" # 沪 A 股-行情数据 沪 A 股 接口: stock_sh_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#sh_a_board 描述: 东方财富网-沪 A 股-实时行情数据 限量: 单次返回所有沪 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - import akshare as ak stock_sh_a_spot_em_df = ak.stock_sh_a_spot_em() print(stock_sh_a_spot_em_df) 数据示例
作者寄语 深圳碳排放交易所-国际行情 更新接口 "energy_carbon_eu" # 碳排放权-国际 碳排放权-国际 接口: energy_carbon_eu 目标地址: http://www.cerx.cn /dailynewsOuter/index.htm 描述: 获取深圳碳排放交易所-国际碳情 限量: 全部历史数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 接口示例 import akshare as ak energy_carbon_eu_df = ak.energy_carbon_eu() print(energy_carbon_eu_df) 数据示例
作者寄语 本次对原 stock_zh_b_spot_em 接口增加部分字段,该接口主要用于获取 B 股股票的行情数据,增加字段为总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段 更新接口 "stock_zh_b_spot_em" # B 股-行情数据 实时行情数据-东财 接口: stock_zh_b_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#hs_b_board 描述: 东方财富网-实时行情数据 限量: 单次返回所有 B 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - - 输出参数 import akshare as ak stock_zh_b_spot_em_df = ak.stock_zh_b_spot_em() print(stock_zh_b_spot_em_df) 数据示例
作者寄语 新增板块行情的数据接口,主要可以查询当前的热点板块,该接口可以查询实时的板块行情数据。 更新接口 "stock_sector_spot" # 板块行情 板块行情 接口: stock_sector_spot 目标地址: http://finance.sina.com.cn/stock/sl / 描述: 获取新浪行业-板块行情 限量: 单次获取指定的板块行情实时数据 输入参数 名称 类型 必选 描述 indicator str Y indicator="新浪行业"; choice of {" 12.480 0.620 聆达股份 9 new_fjzz 飞机制造 14 18.302142857143 ... 10.027 20.630 1.880 航发科技 10 25 new_jzjc 建筑建材 91 6.58 ... 10.000 19.470 1.770 申通快递 26 new_kfq 开发区 10
更新接口 "stock_zh_a_cdr_daily" # A股-CDR-历史行情数据 A股-CDR 历史行情数据 接口: stock_zh_a_cdr_daily 目标地址: https://finance.sina.com.cn /realstock/company/sh689009/nc.shtml 描述: 上海证券交易所-科创板-CDR 限量: 单次返回指定 CDR 的日频率数据, 分钟历史行情数据可以通过 stock_zh_a_minute open high low close volume date 2020-10 -29 33.00 49.80 33.00 38.50 40954922.0 2020-10-30 40.02 51.56 40.02 47.60 33600551.0 2020-11 59.80 68.60 59.48 68.60 23162768.0 2020-11-09 70.50 71.68 63.50 68.04 22494134.0 2020-11-10
作者寄语 本次更新在 futures_foreign_commodity_realtime 新增欧洲碳排放的实时行情数据。 更新接口 "futures_foreign_commodity_realtime" # 外盘-实时行情数据 外盘-实时行情数据 接口: futures_foreign_commodity_realtime 目标地址: https://finance.sina.com.cn/money/future/hf.html 描述: 新浪财经-外盘商品期货数据 限量: 单次返回当前交易日的订阅的所有期货品种的数据 - 开盘价 float64 - 最高价 float64 - 最低价 float64 - 昨日结算价 float64 - 持仓量 float64 - 买价 float64 - 卖价 float64 - 行情时间 853.250 18:02:46 2021-11-22 9 CBOT-玉米 573.775 1441.508842 ... 574.000 18:01:30 2021-11-22 10
在量化交易和金融数据分析领域,股票行情 API、港美股报价 API、港美股数据 API和处理股票行情数据是核心需求之一。 与传统轮询方式相比,WebSocket 技术提供了真正的实时数据推送能力,大大降低了延迟。 目前市面上有多种股票行情数据接口,包括免费和付费的,如聚宽、Tushare、iTick 等。 offered) { log.warn("数据队列已满,丢弃行情数据: {}", quote.getSymbol()); // 可以在这里实现背压策略或数据采样 quote.getHigh()); statement.setBigDecimal(9, quote.getLow()); statement.setBigDecimal(10 关键要点包括:可靠连接管理:自动重连、心跳机制、认证处理高效数据处理:异步处理、批量操作、背压控制可扩展架构:监听器模式、模块化设计生产就绪:异常处理、性能监控、资源管理这套方案能够处理高频率的实时行情数据
图片一、为什么要爬取新闻评论数据并进行情绪识别?爬取新闻评论数据并进行情绪识别的目的是为了从网页中抓取用户对新闻事件或话题的评价内容,并从中识别和提取用户的情绪或态度,如积极、消极、中立等。 爬取新闻评论数据并进行情绪识别有以下几个优势:1)可以了解用户对新闻事件或话题的看法和感受,以及影响他们情绪的因素;2)可以分析用户的情绪变化和趋势,以及与新闻事件或话题的相关性和影响力;3)可以根据用户的情绪进行个性化的推荐或服务 ,如提供正能量的内容、提供帮助或建议等;二、如何爬取新闻评论数据并进行情绪识别? 爬取新闻评论数据并进行情绪识别的步骤如下:1)选择一个新闻网站,如新浪新闻,找到一个有评论功能的新闻页面,如https://news.sina.com.cn/c/2021-12-16/doc-iktzscyx7049336 )print(df.head())四、总结和展望 通过上面的示例代码,我们可以看到,使用Python语言和相关库,配合爬虫代理服务,爬取新闻评论数据并进行情绪识别是一件不难的事情。
作者寄语 新增债券数据-现券市场成交行情 更新接口 "bond_spot_deal" # 现券市场成交行情 现券市场成交行情 接口: bond_spot_deal 目标地址: http://www.chinamoney.com.cn /chinese/mkdatabond/ 描述: 提供中国外汇交易中心暨全国银行间同业拆借中心-市场数据-市场行情-债券市场行情-现券市场成交行情 限量: 单次返回所有即期数据 输入参数 名称 类型 必选 注意单位: 亿 接口示例 import akshare as ak bond_spot_deal_df = ak.bond_spot_deal() print(bond_spot_deal_df) 数据示例
毫秒级延迟、十档盘口、逐笔成交——深入解读 Level-2 行情数据的技术架构与接入实践在量化交易领域,数据是策略的灵魂。 一、Level-2 行情:超越传统行情的微观视角1.1 什么是 Level-2 行情数据?Level-2 行情是目前国内证券市场上最完整、颗粒度最精细的交易信息数据。 数据量方面,A 股 Level-2 行情每日增量约 30-45GB,历史数据可达 10TB 级别。这意味着,处理 Level-2 数据不仅需要高效的 API 接入方案,更需要强大的数据存储与计算能力。 账户层风控:监控账户的日最大回撤,当回撤幅度超过 10%时,启动强制平仓流程,并暂停后续所有交易操作,防止亏损进一步扩大。 五、Level-2 数据 API 的合规与门槛5.1 准入门槛根据多家券商和平台的规定,Level-2 数据接口通常有以下限制:资产门槛:投资者需要满足账户资产不低于 10 万元人民币的条件,才有资格申请开通
在这个教程中,我们将指导你如何通过API获取实时外汇数据并将其集成到数据看板中,用于APP中的数据展示。我们将覆盖从获取数据到在界面中展示图形的完整过程。 第一步:获取实时外汇行情数据为了从API获取外汇数据,我们使用了 requests 库向外汇行情API发送请求。 以时间、开盘价、收盘价绘制图形times = [time] # 时间戳列表prices = [open_price, close] # 开盘价与收盘价列表plt.figure(figsize=(10 前端可以每分钟或更短时间获取一次新的行情数据并展示在看板上。 你可以将这些步骤集成到你的APP中,通过API获取实时外汇行情,并使用图形化展示为用户提供直观的实时数据。
从零搭了一套统一的行情数据中台,需要花费很多时间精力。今天这篇文章,把里面的架构设计、代码实现、踩坑经验全部分享出来。 适配器模式实现、两级缓存配置、限流熔断代码、一键切换数据源量化策略师数据准不准?回测与实盘对得上吗?理解数据源差异对策略的影响,知道如何通过中台保证口径一致数据工程师清洗逻辑、数据质量怎么保障? ↓外部数据源二、采集层:用“转换头”统一所有数据源2.1为什么要适配器? 熔断器的失败率阈值不宜过低(如10%容易误触发),50%是较合理的起点。 六、总结:一张表看懂行情数据中台层级核心职责关键技术对普通投资者的启发采集层统一数据源格式适配器模式不同数据源返回格式不同,需要自己清洗缓存层加速访问、降低成本Caffeine+Redis自己写脚本时可以用本地缓存减少重复请求服务层统一