首页
学习
活动
专区
圈层
工具
发布

批量拉取300只股票没有报错,为什么最后少了两只?

当时股票池有300只股票。数据拉取完成后,程序没有报错。后面的因子计算也顺利结束,任务调度显示执行成功。但回头检查结果时,我发现一个不太对劲的地方。...预期股票池有300只,实际返回的数据只有298只。而且这两只股票不是因为业务规则被剔除的。它们根本没有进入DataFrame。更麻烦的是,原来的程序只检查了返回结果是否为空。...我更倾向于先检查记录是否存在,再判断关键字段是否有效,最后结合交易日历、上市状态和停牌状态进行分类。不能看到某只股票缺少当天数据,就直接认定接口丢数。...六、写在最后做量化系统久了,我越来越重视数据进入策略之前的那道检查。数据接口负责把行情取回来,Pandas负责告诉我们这些行情是否符合预期。...对实盘系统而言,我宁愿任务在数据检查阶段明确失败,也不愿意它拿着不完整的数据正常运行,最后才从异常交易结果里发现问题。

21710
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    一条更新SQL在MySQL数据库中是如何执行的

    点击关注"故里学Java" 右上角"设为星标"好文章不错过 前边的在《一条SQL查询在MySQL中是怎么执行的》中我们已经介绍了执行过程中涉及的处理模块,包括连接器、分析器、优化器、执行器、存储引擎等。...我们先创建一张表,这个表有主键ID和一个整型字段c: mysql> create table demo T (ID int primarty ,c int); 然后将ID=2的这一行的值加1 mysql...我们可以看到最后的时候,写redolog的时候分了两步,prepare和commit,这就是我们常说的“两阶段提交”。 为什么日志需要“两阶段提交”?...假设redolog写完,binlog还没写完,MySQL进程异常重启了。我们知道,redolog写完以后,系统即使崩溃了,也可以将数据恢复,所以在MySQL重启后,这一行会被恢复成1。...我们可以看到如果不使用“两阶段提交",那么数据库的状态就会和用日志恢复出来的库不一致。

    6.3K30

    MySQL面试常问:一条语句提交后,数据库都做了什么?

    今天大部分程序需要处理的数据,都来自数据库,尤其是关系型数据库,那么一条 SQL 提交到数据库之后,数据库都做了些什么?如果不懂这些问题,就无法更好的使用数据库,更无法回答好面试官的问题。...现在流行的开源数据库,非 MySQL 莫属,面试中 MySQL 也是必问,于是我就学习了专栏《MySQL实战45讲》,今天的文章试着回答以下两个问题: 1、一条 SQL 语句提交到数据库之后,数据库都会执行哪些动作...先来看看一条读操作 SQL 的查询过程: 连接器 客户端在提交 SQL 语句之前,你需要先连接上数据库,也就是说要提供用户名密码登陆,这便是连接器发挥作用的时候。...,如果是则将这行存在结果集中;调用引擎接口取“下一行”,重复相同的判断逻辑,直到取到这个表的最后一行。...最后,你可以把表数据从临时库取出来,按需要恢复到线上库去。

    1.4K20

    MySQL数据库:第十五章:MySQL安装到最后一步未响应MySQL Server Instance Configuration Wizard

    MySQL安装到最后一步未响应 第一个方法: 打开C盘,并且显示隐藏文件,然后在C盘下就能找到一个文件夹叫  "ProgamData"  ,打开它,删除里面的  "mysql"  文件夹,然后再重新安装...Pack3 直接运行MySQLInstanceConfig.exe(可能需要管理员身份运行) 5.按照你正常安装的选项去配置 这个时候你发现最后一步已经打了2个√,甚至直接装好,也有可能2个√之后又卡死...如果遇到这种情况,建议先卸载掉MySQL,并检查MySQL安装目录、C:/Program Files、C:/Windows等位置是否残留有MySQL的安装痕迹 再运行regedit命令,进入注册表,按Ctrl...+F,输入MySQL,并勾选[全字匹配],查找是否残留有MySQL的相关注册表痕迹;如果存在残留,就将其删除。...在MySQL的历史痕迹彻底清理干净之后(最好重启电脑),然后再重新安装MySQL即可。 我就是第三种方式,成功了,前二种都试过不起作用

    2.1K10

    MySQL数据库:第十五章:MySQL安装到最后一步未响应MySQL Server Instance Configuration Wizard

    MySQL安装到最后一步未响应 第一个方法: 打开C盘,并且显示隐藏文件,然后在C盘下就能找到一个文件夹叫 “ProgamData” ,打开它,删除里面的 “mysql” 文件夹,然后再重新安装mysql...还有的情况是要 打开安装目录\MySQL\MySQL Server 5.5\bin找到MySQLInstanceConfig.exe 右键单击属性-兼容性-勾选以兼容模式运行,选择XP Service...Pack3 直接运行MySQLInstanceConfig.exe(可能需要管理员身份运行) 5.按照你正常安装的选项去配置 这个时候你发现最后一步已经打了2个√,甚至直接装好,也有可能2个√之后又卡死..., 那就等5分钟之后重复第一步 后来给好几个安装失败的朋友推荐这个方法,也都成功了 第三种方式: 电脑上曾经安装过MySQL,而没有彻底卸载干净(或者卸载干净却没有重启电脑)的缘故。...如果遇到这种情况,建议先卸载掉MySQL,并检查MySQL安装目录、C:/Program Files、C:/Windows等位置是否残留有MySQL的安装痕迹 更多内容请见原文,原文转载自:https:

    1.5K10

    【MySQL数据库基础】(三)MySQL 库的核心操作全解析:创建、修改、备份一条龙搞定

    from person where name='a'; -- 按name排序 select * from person order by name;         查询结果:查询name='a'时,只返回...查看数据库:掌握当前 MySQL 的库信息 场景 1:查看 MySQL 中所有的数据库         这条语句是最常用的,能快速获取当前 MySQL 服务中存在的所有数据库,包括系统库和自定义库: show...四、数据库的备份与恢复:数据安全的最后一道防线         数据是项目的核心资产,无论是开发环境还是生产环境,数据库的备份都是必备操作。...示例:杀死 Id 为 2 的无效连接 kill 2; 六、MySQL 库操作的核心避坑指南与最佳实践         通过以上内容,我们掌握了 MySQL 库的全套操作,最后总结一些实战中的避坑指南和最佳实践...总结         MySQL 库的操作是 MySQL 入门的基础,也是后续表、数据、索引操作的前提,本文从创建数据库入手,讲解了字符集和校验规则的核心配置,再到查看、修改、删除的日常操纵,最后重点讲解了备份恢复和连接排查的实战技巧

    66510

    MySQL数据库,PostgreSQL数据库,一条语句实现有重复数据就更新,没有新增 on duplicate key update name=values(name)

    目录 1 PostgreSQL数据库 2 MySQL数据库 1 PostgreSQL数据库 insert into test (ID,name) values('1','2') ON...数据库 ON DUPLICATE KEY UPDATE 案例 INSERT INTO `user_info` (`user_id`,`door_id`,`email`,`address...`address`=VALUES(`address`), `update_time`=VALUES(`update_time`) 使用这条语句的原因,是为了更好的执行插入和更新, 因为我们在插入一条语句时...先声明一点:ON DUPLICATE KEY UPDATE 这个子句是MySQL特有的,语句的作用是,当insert已经存在的记录时,就执行update。...推荐的做法是: 单写一个add方法,只负责插入数据,插入重复数据时, 根据业务场景做幂等性处理;单写一个update方法, 只负责更新操作。两个函数单独打自己的log,便于定位问题。

    3.2K20

    数据爬取、清洗到分析,如何徒手研究上海二手房房价

    首先要进行的数据的收集,然后进行数据的清洗、整理以及最后的分析。...选用python作为爬虫、数据清洗分析的工具,数据库选用MySQL数据库,很多读者会选择Nosql系列的Mongodb数据库,这个就是仁者见仁智者见智了。...然后连接MySQL数据库,简单介绍下相关命令,host后面应该填写MySQL的数据库地址,如果数据库就在本机上,可以写成127.0.0.1或者localhost, user是登录数据库的用户名,passwd...是账户登录MySQL数据库的登录密码,db指向具体的数据库,这里是我之前建立的名为2.2的数据库,port指访问端口,MySQL的默认端口是3306,charset指编码格式utf8编码允许存入汉字无乱码...为此进行数据清洗、整理,删除在房价变量中未出现‘元’的观测,然后截取‘元’前面的数字生成price1(例如第一条观测的price1=16935,谨记最后要转化为数字类型),xiaoqu用于存放小区名称(

    1.8K60
    领券