还要把之前的数据都迁过来。 1、新建数据卷,运行实例 docker volume create volume_name命令新建一个数据卷 docker volume ls查看数据卷列表 docker inspect volume_name 查看数据的相关信息,例如挂载位置 cd /var/lib/docker/volumes/volume_name/_data ls 如果有文件,先把当前文件夹清空 rm -f * 然后运行实例即可 docker 在恢复数据之前需要把刚刚建立的数据卷里面关联的内容删除掉,然后把之前的数据卷内容复制到现在的数据卷进行数据恢复 rm -f -R * 把之前旧服务器里的mysql数据宝打包发到新数据库 zip -r data.zip data 然后在新服务器中,将复制内容到上边我们新建的数据卷中 cd /home/data cp -R * /var/lib/docker/volumes/volume_name/_
通过前面的小节,我们知道了kNN算法中k这个参数值,在sklearn中k这个值被封装成了k_neighbors参数。在前面我们随机的指定参数k的值,究竟k的值为多少的时候,模型才是最好的呢?这就涉及到了机器学习领域非常重要的问题~超参数问题。
#split根据因子或因子列表将 向量或其他对象分组 #通常与lapply一起使用 #split(参数):split(向量/列表/数据框,因子/因子列表) > x <- c(rnorm(5),runif
垃圾收集 标记清除(大部分浏览器以此来实现)和引用计数 管理内存 一旦数据不再引用,最好通过将其设置为null来释放引用——俗称解除引用。 this引用的是函数据以执行的环境对象,即函数调用,蝴蝶书上讲过有四种调用模式 1.方法调用模式,this指向当前方法的对象; 2.函数调用模式,this被绑定到全局对象,客户端即window;
1.基于指标扩展的“洞察、决策、执行”闭环 一直认为理想情况下的数据运营方法应该基于“贴源层数据-》指标(至少到带有主题的流水)-》洞察-》决策-》执行”的路线,这样才能减少返工的重复性工作量。
作者在自学机器学习的过程中,尝试开发了一个基于机器学习的A股选股工具。本文是在赤兔的“数据挖掘”小组分享的此次开发过程和心得体会的整理。 A股选股器开发过程 数据来源 就财经类的数据而言,现在各大门户网站都有专门的频道,信息很多,如果对实时要求高,通过爬虫取其中有用的部分应该是一个办法。 它是免费的,提供结构化的数据,感觉每天更新也挺快。 预处理 拿到数据后第一步是做预处理。我认为股票的数据主要是做归一化,使得不同股票具有可比性。比如涨幅百分比,复权等等。 最初是用了最近3年的数据,后来考虑到A股从2007年到2015年恰好走过了一个上涨到下降再到上涨的完整周期,因此扩大到了8年的数据。 再是对算法的改进,我尝试引入了“推荐指数”的概念。 股灾日经常是“千股跌停”,上涨的股票太少了…可以看出在这些“股灾日”的时候,模型也不太准确,出现了失真。 总结与心得 选股工具利用机器学习算法,一般情况下比传统的算法(或者人为经验)的准确率高。
并且,隔夜美股的暴跌态势已经蔓延到了亚太股市和欧洲股市。 今日早上,亚太市场开盘后随美股一样暴跌。 其中,最早开盘的澳洲股指ASX200指数盘初跌2%,日股日经225指数开盘跌2%,日本东证指数下跌3%,迈向3月以来最大跌幅,韩国KOSPI指数开盘下跌2.43%。 台股加权指数开盘跌1.9%,目前跌幅扩大至逾4%。 在美股惨遭血洗的时候,其中,科技巨头的股票也一路下跌。 国内媒体认为,美债收益率上升是美股承压原因之一。美国国债收益率本月以来一直攀升,10年美债收益率一度触及3.25%的七年最高水平。10月5日,有数据显示,美国失业率降到了3.7%的历史低位。
本节将会探讨平常相对很少用到、面试中却是老面孔的数据结构:二叉树。 要处理大量数据,我们就想到了 UITableView。假如每一个 cell 对应一个节点,以及其左、右节点,那么我们就可以清晰的展示一棵树。 这种做法解决了上面两个问题: 无需进行位置计算,UITableView 提供复用 Cell,效率大幅提高 面对很多节点的问题,可以先处理一部分数据,然后用处理 infinite scroll 的方式来加载剩余数据 要知道,这些数据结构都不是单独存在的,我们在解决二叉树的问题时,用到了队列;解决数组的问题,也会用到字典或是栈。 排序和搜索 前几节中,我们主要探讨了数据结构:比如数组、链表、队列、树。这些数据结构都是了解 Swift 和算法的基础。从今以后的文章,我们将更多的关注于通用算法,这次我们就来聊聊排序和搜索。
八股 浏览器输入网址到看到结果的全过程 ==首先是解析url,然后进行缓存判断,判断请求的资源在不在缓存中,如果在缓存中且没有失效,就直接使用,否则就要向服务器发起请求。 数据链路层(Data Link Layer): 主要功能:在直接连接的两个设备之间提供可靠的数据传输。 作用:将物理层提供的比特流分组成数据帧,并负责数据的错误检测和纠正。 网络层(Network Layer): 主要功能:实现数据包的路由和转发,为数据在不同网络之间的传输提供路径。 作用:负责逻辑寻址、数据包的路由选择和跨网络的数据传输。IP协议是网络层的代表。 通常用于实现不同应用程序之间的数据交互。 表示层(Presentation Layer): 主要功能:数据格式转换、数据加密和解密。 数据类型: Cookie:Cookie只能存储文本数据,通常用于存储小量的用户信息,如用户ID、首选语言或会话令牌。 Session:Session可以存储各种数据类型,包括对象和复杂数据结构。
本文将介绍一个高效的亚太股市数据 API,支持日本股市行情、韩国股市行情、新加坡股市行情和印尼股市行情的实时数据查询。 该 API 提供实时价格、K 线数据、历史数据查询、实时 tick、实时报价、低延时报价 api、盘口数据和逐笔成交等功能,特别适合量化交易开发者使用。 主要优势:实时数据:毫秒级更新,支持实时价格和逐笔成交。历史数据查询:批量获取多股 K 线数据,包括开盘价、最高价、最低价、收盘价和成交量(OHLCV)。 批量历史 K 线查询支持多股同时查询历史 K 线数据,周期从分钟线到月线。适合历史数据查询和 K 线数据分析。请求路径:GET /stock/klines? K 线数据分析,支持多股批量操作。
本文将系统介绍 A 股 Level-2 行情数据 API 的技术特点、接入方案及实战应用,帮助开发者在量化交易的道路上构建坚实的数据底座。 数据量方面,A 股 Level-2 行情每日增量约 30-45GB,历史数据可达 10TB 级别。这意味着,处理 Level-2 数据不仅需要高效的 API 接入方案,更需要强大的数据存储与计算能力。 同花顺 iFinD:延迟在 100-200 毫秒,覆盖全市场 A 股及港股数据。采用年费制,数据质量稳定,功能丰富,适合专业投资机构使用。 4.2 实时行情接入代码示例以下提供 iTick API 的完整接入示例,包括 REST API 和 WebSocket 两种方式,涵盖 A 股、港股、美股等市场。 七、结语A 股 Level-2 行情数据 API 为量化开发者打开了一扇通往市场微观结构的大门。从十档盘口的深度分析到逐笔成交的资金流向追踪,Level-2 数据承载着比传统行情丰富十倍的信号价值。
作者寄语 更新之前的港股和美股接口直接返回复权后的数据,方便策略回测使用,具体的使用方法参见文档。 AkShare 股票数据 美股-历史行情 接口: stock_us_daily 目标地址: http://finance.sina.com.cn/stock/usstock/sector.shtml 描述 : 获取美股历史行情数据,设定 adjust="qfq" 则返回前复权后的数据,默认 adjust="", 则返回未复权的数据,历史数据按日频率更新 限量: 单次返回指定上市公司指定 adjust 后的所有历史行情数据 输入参数 名称 类型 必选 描述 symbol str Y 美股代码, 可以通过 「get_us_stock_name」 函数返回所有美股代码, 由于美股数据量大, 建议按需要获取 adjust str , 可以选择返回复权后数据,更新频率为日频 限量: 单次返回指定上市公司的历史行情数据(包括前后复权因子), 提供新浪财经拥有的该股票的所有数据(并不等于该股票从上市至今的数据) 输入参数 名称 类型
作者寄语 熟悉东方财富的小伙伴一定听过东方财富的股吧评论数据,无论是学术论文还是业界的金工报告都有提及相关内容,本次更新根据股吧浏览、自选股添等数据统计得出,关注指数越高代表该股越受市场关注的千股千评指数接口 ,本数据有东方财富制定。 /stockcomment/ 描述: 获取东方财富网-数据中心-特色数据-千股千评 限量: 单次获取所有数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 TDate 接口示例 import akshare as akstock_em_comment_df = ak.stock_em_comment()print(stock_em_comment_df) 数据示例 - - -3953 2020-03-23T00:00:00 900955 海创B股 ...
2025年的IO竞赛基础级(难度系数4-5)题目开始涉及更多的数据结构和算法思想,对选手的编程能力和逻辑思维提出了更高的要求。 难度进阶路径: 入门(1-3) → 基础(4-5) → 提高(6-8) → 竞赛(9-10) 难度系数 考察重点 核心知识点 学习目标 4-5 数据结构、算法应用 栈、队列、树、图的基础应用 掌握基础数据结构的使用和简单算法的实现 ) ├── 第四章:基础级题目解题技巧总结 └── 第五章:从基础到提高的学习建议 第一章:2025年IO竞赛基础级题目概述 根据2025年NOI修订版大纲,基础级(CSP-J提高)的知识点难度系数为4- 5,开始涉及更多的数据结构和算法应用。 数据结构进阶:学习更复杂的数据结构,如平衡树、线段树、树状数组、字典树等。 数学知识补充:学习数论、组合数学、概率论等数学知识,这些在高级算法中经常用到。
作者寄语 更新 破净股统计 接口,破净是指市值跌破净资产值,破净股是指股票的每股市场价格低于它每股净资产价格。 数据的时间段为:2005年-至今 更新接口 "stock_a_below_net_asset_statistics" # A 股破净股统计 破净股统计 接口: stock_a_below_net_asset_statistics 目标地址: https://www.legulegu.com/stockdata/below-net-asset-statistics 描述: 获取 A 股破净股统计数据 限量: 单次获取所有历史数据 输入参数 名称 类型 必选 描述 - - - - 输出参数 名称 类型 默认显示 描述 date datetime Y 交易日 below_net_asset float Y 破净股家数 total_company = ak.stock_a_below_net_asset_statistics() print(stock_a_below_net_asset_statistics_df) 数据示例
作者寄语 本次接口主要东方财富的行业板块中成份股,可以与同花顺的对照使用。 更新接口 "stock_board_industry_cons_em" # 东方财富-成份股 东方财富-成份股 接口: stock_board_industry_cons_em 目标地址: https: //data.eastmoney.com/bkzj/BK1027.html 描述: 东方财富-沪深板块-行业板块-板块成份 限量: 单次返回指定 symbol 的所有成份股 输入参数 名称 类型 描述 stock_board_industry_cons_em_df = ak.stock_board_industry_cons_em(symbol="小金属") print(stock_board_industry_cons_em_df) 数据示例
对于金融科技开发者而言,如何稳定、低延迟地获取美股数据是开发全球资产配置工具的第一步。本文将基于 StockTV 全球金融 API,为你详解如何快速集成美股实时行情、历史数据及指数信息。 一、 美股接口对接美股数据通常面临着交易所授权费高昂、API 协议复杂(如 FIX 协议)等痛点。 涨跌幅排行榜:使用 stock/updownList 接口快速获取美股全市场的“涨幅榜”或“跌幅榜”,实时挖掘热点个股。 数据缓存:对于 stock/companies 接口提供的公司描述、行业分类等静态信息,建议在本地数据库做缓存,以优化 App 加载速度。 结语对接美股数据并不复杂,关键在于选择一个稳定且数据维度丰富的供应商。StockTV API 以其标准化的 JSON 结构和覆盖全球的金融数据,极大地降低了金融应用的开发门槛。
2.4.4 发起HTTPS网络通信 小程序经常需要向服务器传递数据或者从服务器拉取数据,这个时候可以使用wx.request这个API,在本章节会重点讨论wx.request的使用和注意事项。 为了保持接口向前兼容,不应该直接改sex字段值的类型,而是返回的JSON数据中再多定义一个字段sexNumber,这样旧版本通过这个接口拿到的数据格式依旧是能够正常工作的。 当向服务器端发送的数据超过1024字节时,就要采用HTTP POST的方式,此时传递的数据就必须要使用data参数,基于这个情况,一般建议需要传递数据时,使用data参数来传递。 2.4.6 本地数据缓存 本地数据缓存是小程序存储在当前设备上的数据,本地数据缓存有非常多的用途,可以利用本地数据缓存来存储用户在小程序上产生的操作,在用户关闭小程序重新打开时可以恢复之前的状态。 还可以利用本地缓存存储一些服务端非实时的数据以提高小程序获取数据的速度,在特定的场景下可以提高页面的渲染速度,减少用户的等待时间。
核心技术工具说明本次自动化选股项目依赖 Python 的三大核心库,各自承担关键职责:Requests:轻量高效的 HTTP 请求库,负责向金融数据网站发送请求,获取公开的个股行情与财务数据,是爬虫实现的核心工具 Pandas:高性能的数据处理与分析库,负责对提取的金融数据进行清洗、整理、指标计算与筛选,是实现选股逻辑的关键支撑。2. 二、项目实现流程概述本次 Python 自动化选股的核心流程分为四步:爬虫搭建:抓取 A 股市场个股的基础信息(股票代码、名称)与核心财务 / 行情数据(每股收益、净利润增长率、市盈率、市净率等);数据清洗 :处理抓取到的缺失值、异常值、格式错误等问题,形成标准化数据集;选股逻辑实现:基于价值投资与成长投资的核心指标,预设筛选规则,利用 Pandas 完成自动化筛选;结果输出:将筛选出的潜力股整理为表格,保存为本地文件方便查阅 A 股列表数据,提取核心选股指标。
2,引擎:InnoDB,MyIsam 3,超键,候选键,主键,外键 4,Sql约束: 主键约束:唯一性,非空 唯一约束:唯一性,有一个可为空 检查约束:对列的数据范围限定 默认约束:数据的默认值 外键约束 5,事务实现原理 6,redo log,undo log 7,binlog 8,事务中可以混合使用引擎吗 不可以,正常情况下没问题,但是如果需要回滚,innodb没问题,myisam就会无法撤销,出现数据不一致 也可以对数据,如for update。 乐观锁有CAS和版本号机制。 4,InnoDB的行锁怎么实现 给索引项加锁,所以使用行锁一定要使用索引。 其他 1,为什么要使用分库分表 分表:数据太大 分库:并发太大 2,读写分离,主从同步,主从复制 就这两大类问题。