作者寄语 新增:股市-外汇-商品-工行-农行的实时报价数据接口,可以配合之前的 watch_jinshi_fx 接口来使用,本次主要还是以熟悉 websocket 接口为主,本次接口比 watch_jinshi_fx 更新接口 "watch_jinshi_quotes" # 行情报价实时数据接口 Websocket-行情 接口: watch_jinshi_quotes 目标地址: https://datacenter.jin10 .com/price_wall 描述: 获取股市、外汇、商品、工行、农行实时行情数据, 如需要存储数据请修改 「on_message」 接口 限量: 主动推送 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 - - - 基于 websocket 的接口 接口示例 import akshare as ak ak.watch_jinshi_quotes() 数据示例
作者寄语 更新 基金数据-基金行情数据 接口,本接口主要返回特定基金的开高低收成交量的数据。 更新接口 "fund_etf_hist_sina" # 基金数据-基金行情数据 基金行情 接口: fund_etf_hist_sina 目标地址: http://vip.stock.finance.sina.com.cn /fund_center/index.html#jjhqetf 描述: 获取新浪财经-基金行情的日频率行情数据 限量: 单次返回指定基金的所有数据 输入参数 名称 类型 必选 描述 symbol str as ak fund_etf_hist_sina_df = ak.fund_etf_hist_sina(symbol="sz169103") print(fund_etf_hist_sina_df) 数据示例
作者寄语 本次对原 stock_zh_a_spot_em 接口扩展总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段,该接口可以获取所有股票当前时点的多字段信息。 更新接口 "stock_zh_a_spot_em" # 沪深京 A 股-行情数据 沪深京 A 股 接口: stock_zh_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#hs_a_board 描述: 东方财富网-沪深京 A 股-实时行情数据 限量: 单次返回所有沪深京 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 float64 注意单位: % 市盈率-动态 float64 - 市净率 float64 - 总市值 float64 注意单位: 元 流通市值 float64 注意单位: 元 涨速 float64 - 5分钟涨跌 import akshare as ak stock_zh_a_spot_em_df = ak.stock_zh_a_spot_em() print(stock_zh_a_spot_em_df) 数据示例
实现薪酬字段的标签向数值转换; 岗位类型划分:主要依据岗位title关键词情况,区分开发(关键词:开发、研发)、算法(关键词:算法、挖掘、分析)、架构师(关键词:架构)、产品(关键词:产品)以及其他,共5种岗位类型 分别从6个维度描述杭州人员规模在万人以上的上市公司招聘大数据相关岗位的招聘现状,其中薪资采用直方图刻画,区域和学历信息采用饼图描述,而岗位类型、招聘公司TOP5以及经验要求则采用横向直方图描述。 ;但对工作经验往往有一定要求,尤其是要求具有3-5年以及5-10年工作经验的大数据岗位居多; 薪资情况,整体位于20-40K之间,顶薪接近60K,也有10K以下低薪岗位;平均值28.3K,中位数27K。 对比分析各公司大数据岗位的TOP5技能标签,一定程度上可以管窥各企业的大数据技术栈信息,例如阿里巴巴和海康威视更注重数据分析与挖掘;浙江大华除了Java之外还较多的运用Python以及Spark;而无一例外的 接下来分析打工人最为关心的因素:大数据岗位薪资情况。分别从公司、岗位类型、学历、工作经验以及技能标签等5个维度,分别描绘岗位薪酬分布情况,结果如下图所示。 ?
作者寄语 本次更新沪深 A 股的历史行情数据,本次采用网易的数据,该接口可以获取总市值、流通市值数据,可以补充东财和新浪的数据,但是该接口不能返回复权数据。 更新接口 "stock_zh_a_hist_163" # 历史行情数据-网易 历史行情数据-网易 接口: stock_zh_a_hist_163 目标地址: http://quote.eastmoney.com from=classic 描述: 网易财经-行情首页-沪深 A 股-每日行情; 该接口主要用户获取流通市值、总市值等指标 限量: 单次返回指定沪深 A 股(不包含北交所)上市公司指定日期间的历史行情日频率数据 , 该接口只返回未复权数据 输入参数 名称 类型 描述 symbol str symbol='sh601318'; 股票代码可以在 ak.stock_zh_a_spot() 中获取 start_date ak.stock_zh_a_hist_163(symbol="sh601318", start_date="20210101", end_date="20220101") print(stock_zh_a_hist_163_df) 数据示例
库里是过去抓取的行情数据,间隔6秒,每分钟8-10个数据不等,还有开盘前后的一些数据,用Pandas可以更加优雅地进行处理。 %S') for idx in df['time']] #索引列 df['newc']=ii df=df.set_index('newc') 这样就得到datetime类型的index了,要保留分钟的数据 因为诸如1分钟、5分钟、10分钟、半小时等各种时间节点,可以快速表示无需复杂的代码。
作者寄语 本次修改原来的 「全球债券行情数据」 接口,重命名函数和增加频率字段,可以设定:日、周、月的数据频率。 更新接口 "bond_investing_global" # 全球债券行情数据 全球债券行情数据 接口: bond_investing_global 目标地址: https://cn.investing.com /rates-bonds/ 描述: 获取全球政府债券行情与收益率, 由于涉及国家和债券多(「近1000」个债券)具体参见国家-债券目录 具体的调用方式可以参照: 先查询指数所在的国家名称; 复制网页上国家名称 "中国", index_name="中国1年期国债", period="每周", start_date="2000-01-01", end_date="2020-06-06")」; 稍后就可以获得所需数据 年期国债", period="每周", start_date="2000-01-01", end_date="2020-06-06") print(bond_investing_global_df) 数据示例
作者寄语 本次新增 stock_sz_a_spot_em 接口,该接口主要用于获取深圳证券交易所所有股票的行情数据,同时增加总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段,该接口可以获取所有股票当前时点的多字段信息 更新接口 "stock_sz_a_spot_em" # 深 A 股-行情数据 深 A 股 接口: stock_sz_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#sz_a_board 描述: 东方财富网-深 A 股-实时行情数据 限量: 单次返回所有深 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - float64 注意单位: % 市盈率-动态 float64 - 市净率 float64 - 总市值 float64 注意单位: 元 流通市值 float64 注意单位: 元 涨速 float64 - 5分钟涨跌 涨速 5分钟涨跌 60日涨跌幅 年初至今涨跌幅 0 1 300926 博俊科技 24.66 ... 0.00 0.00 13.43 4.14 1
作者寄语 本次新增 stock_sh_a_spot_em 接口,该接口主要用于获取上海证券交易所所有股票的行情数据,同时增加总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段,该接口可以获取所有股票当前时点的多字段信息 更新接口 "stock_sh_a_spot_em" # 沪 A 股-行情数据 沪 A 股 接口: stock_sh_a_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#sh_a_board 描述: 东方财富网-沪 A 股-实时行情数据 限量: 单次返回所有沪 A 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - float64 注意单位: % 市盈率-动态 float64 - 市净率 float64 - 总市值 float64 注意单位: 元 流通市值 float64 注意单位: 元 涨速 float64 - 5分钟涨跌 0.00 -21.24 -40.92 3 4 688280 精进电动-UW 12.90 ... 0.00 0.00 0.86 -15.41 4 5
作者寄语 深圳碳排放交易所-国际行情 更新接口 "energy_carbon_eu" # 碳排放权-国际 碳排放权-国际 接口: energy_carbon_eu 目标地址: http://www.cerx.cn /dailynewsOuter/index.htm 描述: 获取深圳碳排放交易所-国际碳情 限量: 全部历史数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 接口示例 import akshare as ak energy_carbon_eu_df = ak.energy_carbon_eu() print(energy_carbon_eu_df) 数据示例
作者寄语 本次对原 stock_zh_b_spot_em 接口增加部分字段,该接口主要用于获取 B 股股票的行情数据,增加字段为总市值、流通市值、涨速、5分钟涨跌、60日涨跌幅和年初至今涨跌幅字段 更新接口 "stock_zh_b_spot_em" # B 股-行情数据 实时行情数据-东财 接口: stock_zh_b_spot_em 目标地址: http://quote.eastmoney.com /center/gridlist.html#hs_b_board 描述: 东方财富网-实时行情数据 限量: 单次返回所有 B 股上市公司的实时行情数据 输入参数 名称 类型 描述 - - - 输出参数 float64 注意单位: % 市盈率-动态 float64 - 市净率 float64 - 总市值 float64 注意单位: 元 流通市值 float64 注意单位: 元 涨速 float64 - 5分钟涨跌 涨速 5分钟涨跌 60日涨跌幅 年初至今涨跌幅 0 1 900953 凯马B 0.330 ... 0.00 0.92 0.00 -2.65 1 2
作者寄语 新增板块行情的数据接口,主要可以查询当前的热点板块,该接口可以查询实时的板块行情数据。 更新接口 "stock_sector_spot" # 板块行情 板块行情 接口: stock_sector_spot 目标地址: http://finance.sina.com.cn/stock/sl / 描述: 获取新浪行业-板块行情 限量: 单次获取指定的板块行情实时数据 输入参数 名称 类型 必选 描述 indicator str Y indicator="新浪行业"; choice of {" as ak stock_industry_sina_df = ak.stock_sector_spot(indicator="新浪行业") print(stock_industry_sina_df) 数据示例 12.650 0.680 深南电A 4 new_dqhy 电器行业 58 9.8218965517241 ... 6.958 20.290 1.320 盛洋科技 5
更新接口 "stock_zh_a_cdr_daily" # A股-CDR-历史行情数据 A股-CDR 历史行情数据 接口: stock_zh_a_cdr_daily 目标地址: https://finance.sina.com.cn /realstock/company/sh689009/nc.shtml 描述: 上海证券交易所-科创板-CDR 限量: 单次返回指定 CDR 的日频率数据, 分钟历史行情数据可以通过 stock_zh_a_minute stock_zh_a_cdr_daily_df = ak.stock_zh_a_cdr_daily(symbol='sh689009') print(stock_zh_a_cdr_daily_df) 数据示例
作者寄语 本次更新在 futures_foreign_commodity_realtime 新增欧洲碳排放的实时行情数据。 更新接口 "futures_foreign_commodity_realtime" # 外盘-实时行情数据 外盘-实时行情数据 接口: futures_foreign_commodity_realtime 目标地址: https://finance.sina.com.cn/money/future/hf.html 描述: 新浪财经-外盘商品期货数据 限量: 单次返回当前交易日的订阅的所有期货品种的数据 - 开盘价 float64 - 最高价 float64 - 最低价 float64 - 昨日结算价 float64 - 持仓量 float64 - 买价 float64 - 卖价 float64 - 行情时间 38455.000 16:29:56 2021-11-22 4 LME锌3个月 3237.200 20658.51552 ... 3237.500 18:02:43 2021-11-22 5
在量化交易和金融数据分析领域,股票行情 API、港美股报价 API、港美股数据 API和处理股票行情数据是核心需求之一。 与传统轮询方式相比,WebSocket 技术提供了真正的实时数据推送能力,大大降低了延迟。 目前市面上有多种股票行情数据接口,包括免费和付费的,如聚宽、Tushare、iTick 等。 本文将以 iTick API 为例,介绍如何使用 Java 通过 WebSocket 协议订阅股票实时行情数据一、环境准备与依赖配置首先,我们需要在项目中添加 WebSocket 客户端依赖。 offered) { log.warn("数据队列已满,丢弃行情数据: {}", quote.getSymbol()); // 可以在这里实现背压策略或数据采样 关键要点包括:可靠连接管理:自动重连、心跳机制、认证处理高效数据处理:异步处理、批量操作、背压控制可扩展架构:监听器模式、模块化设计生产就绪:异常处理、性能监控、资源管理这套方案能够处理高频率的实时行情数据
图片一、为什么要爬取新闻评论数据并进行情绪识别?爬取新闻评论数据并进行情绪识别的目的是为了从网页中抓取用户对新闻事件或话题的评价内容,并从中识别和提取用户的情绪或态度,如积极、消极、中立等。 ,如提供正能量的内容、提供帮助或建议等;二、如何爬取新闻评论数据并进行情绪识别? 获取新闻页面的HTML源码;3)使用BeautifulSoup库,解析HTML源码,提取新闻标题、正文和评论区域的元素;4)使用正则表达式,从评论区域的元素中提取评论内容和评论时间等信息,并保存到一个列表中;5) 使用TextBlob库,对每条评论内容进行情绪分析,计算其极性(polarity)和主观性(subjectivity),并将结果添加到列表中;6)使用pandas库,将列表转换为一个数据框(DataFrame )print(df.head())四、总结和展望 通过上面的示例代码,我们可以看到,使用Python语言和相关库,配合爬虫代理服务,爬取新闻评论数据并进行情绪识别是一件不难的事情。
作者寄语 新增债券数据-现券市场成交行情 更新接口 "bond_spot_deal" # 现券市场成交行情 现券市场成交行情 接口: bond_spot_deal 目标地址: http://www.chinamoney.com.cn /chinese/mkdatabond/ 描述: 提供中国外汇交易中心暨全国银行间同业拆借中心-市场数据-市场行情-债券市场行情-现券市场成交行情 限量: 单次返回所有即期数据 输入参数 名称 类型 必选 注意单位: 亿 接口示例 import akshare as ak bond_spot_deal_df = ak.bond_spot_deal() print(bond_spot_deal_df) 数据示例
毫秒级延迟、十档盘口、逐笔成交——深入解读 Level-2 行情数据的技术架构与接入实践在量化交易领域,数据是策略的灵魂。 一、Level-2 行情:超越传统行情的微观视角1.1 什么是 Level-2 行情数据?Level-2 行情是目前国内证券市场上最完整、颗粒度最精细的交易信息数据。 : 1-1分钟, 2-5分钟, 3-15分钟, 4-30分钟, 5-60分钟, 8-日K, 9-周K, 10-月K limit: 返回的 K 线条数 """ url = f"{BASE_URL 订单层风控:限制单笔下单量不得超过账户权益的 5%。对于超过限额的大单,可以自动拆分为多笔小单提交,或直接拒绝执行。 七、结语A 股 Level-2 行情数据 API 为量化开发者打开了一扇通往市场微观结构的大门。从十档盘口的深度分析到逐笔成交的资金流向追踪,Level-2 数据承载着比传统行情丰富十倍的信号价值。
第一步:获取实时外汇行情数据为了从API获取外汇数据,我们使用了 requests 库向外汇行情API发送请求。 1.1 设置API请求import requestsapi_url = 'https://data.infoway.io/common/batch_kline/5/1/GBPUSD'# 设置请求头headers // 使用AJAX请求外汇数据fetch('https://data.infoway.io/common/batch_kline/5/1/GBPUSD', { method: 'GET', 前端可以每分钟或更短时间获取一次新的行情数据并展示在看板上。 你可以将这些步骤集成到你的APP中,通过API获取实时外汇行情,并使用图形化展示为用户提供直观的实时数据。
从零搭了一套统一的行情数据中台,需要花费很多时间精力。今天这篇文章,把里面的架构设计、代码实现、踩坑经验全部分享出来。 3.2两级缓存策略(行业通用设计)缓存级别存储位置过期时间适用场景优点缺点L1本地缓存JVM内存(Caffeine)1-5秒极高频访问的热点股超快(微秒级)多实例间不一致L2分布式缓存Redis30-60 MarketDataProviderprovider){this.provider=provider;this.localCache=Caffeine.newBuilder().expireAfterWrite(5, 熔断:当数据源连续失败(如超时、5xx),自动打开断路器,直接返回缓存或降级数据。 六、总结:一张表看懂行情数据中台层级核心职责关键技术对普通投资者的启发采集层统一数据源格式适配器模式不同数据源返回格式不同,需要自己清洗缓存层加速访问、降低成本Caffeine+Redis自己写脚本时可以用本地缓存减少重复请求服务层统一