首页
学习
活动
专区
圈层
工具
发布
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    批量拉取300只股票没有报错,为什么最后少了两只?

    数据拉取完成后,程序没有报错。后面的因子计算也顺利结束,任务调度显示执行成功。但回头检查结果时,我发现一个不太对劲的地方。前一天的候选名单有300只股票,第二天进入因子计算的数据却只有298只。...我更倾向于先检查记录是否存在,再判断关键字段是否有效,最后结合交易日历、上市状态和停牌状态进行分类。不能看到某只股票缺少当天数据,就直接认定接口丢数。...六、写在最后做量化系统久了,我越来越重视数据进入策略之前的那道检查。数据接口负责把行情取回来,Pandas负责告诉我们这些行情是否符合预期。...对实盘系统而言,我宁愿任务在数据检查阶段明确失败,也不愿意它拿着不完整的数据正常运行,最后才从异常交易结果里发现问题。

    19110

    mysql分组取最大(最小、最新、前N条)条记录

    在数据库开发过程中,我们要为每种类型的数据取出前几条记录,或者是取最新、最小、最大等等,这个该如何实现呢,本文章向大家介绍如何实现mysql分组取最大(最小、最新、前N条)条记录。...5, 'b5'); 数据表如下: name val memo a 2 a2 a 1 a1 a 3 a3 b 1 b1 b 3 b3 b 2 b2 b 4 b4 b 5 b5 按name分组取val...按name分组取val最小的值所在行的数据 方法一: select a.* from tb a where val = (select min(val) from tb where name = a.name...name = a.name and val < a.val) order by a.name 以上五种方法运行的结果均为如下所示: name val memo a 1 a1 b 1 b1 按name分组取第一次出现的行所在的数据...tb a where val = (select top 1 val from tb where name = a.name) order by a.name //这个是sql server的 //mysql

    11.8K30

    爬取微博图片数据存到Mysql中遇到的

    前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成...PS:(本人长期出售超大量微博数据、旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com。...最后没有办法使用base64 对二进制进行加密转化成字符串,存到数据库中,然后要用时的时候再解密。...使用conn.Ping(True) 判断是否连接mysql成功。如果失去连接就重新连接就行了!最后解决了这个问题 代码实现 #!...db_host = cf.get("mysql", "db_host") db_port = cf.getint("mysql", "db_port") db_user = cf.get("mysql

    2.7K30
    领券