首页
学习
活动
专区
圈层
工具
发布

海关数据平台的数据全,你中几条?4个口径:国别、单证、字段、更新

一个做建材的老板,去年买了海关数据年费。他搜"越南瓷砖",出来两百多条记录,问我:这算全吗?我没法直接答。因为"数据全"这三个字,在外贸圈被用得太松。覆盖多少国家,是四个口径里最没用的一个。...l 字段细到什么程度:有没有买家名、HS编码到几位,决定了这份数据能不能用来筛客户。l 怎么搜:按品名搜和按HS编码搜,结果不是一回事,同一样东西两种搜法能差出一半。...二、海关数据平台的“全”不是国家多,是四个口径同时成立平台爱说三个数:覆盖200+国家、55亿条记录、95%重点市场。数都不假,但都没回答同一个问题——这些记录里,有多少条能查到买家是谁?...,覆盖到哪个月能给出延迟天数验证拿自己一笔已知成交单去搜搜得到,字段基本对得上四个问题问完,还有最后一步: 挑一笔自己去年成交的单,用这个海关数据平台搜一遍。...查询和发信分两家买,就是两笔年费加一次数据对接,导出再导入那一段的人工也得算进去。放在同一个账号里(Geeksend 是这种),省的就是这一段路,代价是单项深度未必比专门做数据的工具强。

13010
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    mysql分组取最大(最小、最新、前N条)条记录

    在数据库开发过程中,我们要为每种类型的数据取出前几条记录,或者是取最新、最小、最大等等,这个该如何实现呢,本文章向大家介绍如何实现mysql分组取最大(最小、最新、前N条)条记录。...: name val memo a 2 a2 a 1 a1 a 3 a3 b 1 b1 b 3 b3 b 2 b2 b 4 b4 b 5 b5 按name分组取val最大的值所在行的数据 方法一: select...按name分组取val最小的值所在行的数据 方法一: select a.* from tb a where val = (select min(val) from tb where name = a.name...name = a.name and val < a.val) order by a.name 以上五种方法运行的结果均为如下所示: name val memo a 1 a1 b 1 b1 按name分组取第一次出现的行所在的数据...tb a where val = (select top 1 val from tb where name = a.name) order by a.name //这个是sql server的 //mysql

    11.8K30

    【R语言】dplyr对数据分组取各组前几行

    然后取每一个组的前10个条目或者前5个条目来绘制柱形图或者气泡图。 那么问题来了,如何分组取前几行。今天小编就跟大家分享一个专业处理数据框的函数dplyr。...GO_result %>% group_by(ONTOLOGY) %>% head(n = 5) 虽然,我们使用了group_by进行了分组,但是head并没有应用到三个分组上面,而是直接应用到了整个数据框上...%>% group_by(ONTOLOGY) %>% slice_min(order_by = p.adjust, n = 5) r4 slice_min会根据指定的p.adjust有小到大排序,然后取每组前...filter(row_number() <= 5) r6 通过filter来控制行数<=5 最后我们来看看这六种方法得到的结果究竟是不是一样的,dplyr这个包里面有函数叫all_equal专门用来判断两个数据框是不是一样的...GO富集分析的结果,默认是会根据校正之后的p值(p.adjust)来由小到大排序,所以基于这个结果,直接取每组的前五行就是最显著的5个条目。

    3.2K21

    MySQL | 数据库表字段约束

    数据定义语言:字段约束 数据库的范式 构造数据库必须遵循一定的规则,这种规则就是范式 目前关系数据库有 6 种范式,一般情况下,只满足第三范式即可 第一范式:原子性 第一范式是数据库的基本要求,不满足这一点就不是关系数据库...为了实现区分,通常要为表上加一个列用来存储唯一标识,这个唯一属性列被称作主键列 第三范式:关联性 每列都与主键有直接关系,不存在传递依赖 依照第三范式,数据可以拆分保存到不同的数据表,依次保持关联...字段约束 MySQL 中的字段约束共有四种: 约束名称 关键字 描述 主键约束 PRIMARY KEY 字段值唯一,且不能为 NULL 非空约束 NOT NULL 字段值不能为 NULL 唯一约束 UNIQUE...字段值唯一,且可以为 NULL 外键约束 FOREIGN KEY 保持关联数据的逻辑性 外键约束是唯一不推荐使用的约束 主键约束 主键约束要求字段的值在全表必须唯一,而且不能为 NULL 值 建议主键一定要使用数据类型...,挑选一个 deptno INT UNSIGNED, biredate DATA NOT NULL, FOREIGN KEY (deptno) REFERENCES t_dept(deptno)

    7.7K10

    量化OHLCV 数据进入策略前要检查字段类型

    对Python量化程序来说,真正容易出问题的地方并不只是“有没有这几个字段”,还包括字段名称、数据类型、时间字段和空值。一个简单的原则是:策略层只应该接收已经通过基础Schema检查的行情数据。...它实际上只是把类型异常变成了一个更容易被统一处理的缺失值。四、时间字段同样需要检查量化策略通常是时间序列程序。因此,时间字段不能只当作普通字符串使用。...一个系统最怕的是:数据源A:本地时间数据源B:UTC数据源C:字符串时间最后在策略层直接合并。因此时间标准化应该发生在数据进入研究层之前。...重点不是“拿到DataFrame就可以直接回测”,而是:QuantDash↓DataFrame↓Schema↓dtype↓NaN↓OHLC约束↓时间序列↓策略这样数据源和策略之间就有了一个明确的数据质量边界...六、可以把检查封装成一个函数实际项目中,不建议每个策略重复写一遍。

    16410

    MySQL 分组排序后 → 如何取前N条或倒数N条

    分组后取第一条记录   我们先来简单回顾下实现方式   1、循环查数据库     逻辑很清晰,实现起来也很简单,但是会循环查数据库,开发规范一般会明确禁止这种写法   2、 GROUP BY 结合 MySQL...取前N条或倒数N条   我们回到标题,分组排序后,如何取前N条记录或倒数N条记录   循环查数据库   1、先批量查询 task_id   2、再根据 task_id 逐个去查 t_task_exec_log...,排序获取前N条记录   3、最后进行一个数据汇合,封装成页面需要的数据格式   但这种方式会循环查数据库,一般是被禁止的   GROUP BY 结合 MySQL 函数   1、先批量查询 task_id...  我们用 ROW_NUMBER 来实现 取前N条或倒数N条   1、批量查询 task_id   2、使用 ROW_NUMBER ,取前N条或倒数N条   取第一条   结果如下   取前 5...再看 GROUP BY 结合 MySQL 函数   我们仔细看看 GROUP BY 结合 MySQL 函数 取倒数 5 条的结果   我们发现和窗口函数的取倒数 5 条的结果不一致   那到底是哪种方式不对

    3K10

    Go 后台双库迁移上线前,MySQL 和 PG 字段如何验收

    Go后台同时支持MySQL和PostgreSQL时,迁移验收不要只跑一边。上线前先判断五类东西是否一致:表字段、默认值、唯一索引、菜单权限字段、默认数据。再用一条查询确认线上库已经到目标结构。...否则你会遇到一种很尴尬的故障:SQL执行成功,页面也能打开,但某个按钮权限、队列配置或默认Topic在另一套库里少了字段,云上环境才暴露出来。这篇只回答一个问题:双库迁移脚本上线前如何验收。...少一个字段,问题不一定在部署当天立刻炸,但后续改配置时会变成线上事故。验字段,不要只验建表成功云上发布前,我会先在临时库跑迁移,再查information_schema。...它不覆盖跨地域灾备、数据库变更平台、金融级审计,也不替代DBA的变更流程。如果你的系统只支持MySQL,不需要硬套PG检查;但同一套思路仍然成立:字段、索引、默认数据、权限接口都要验。...结论很朴素:迁移脚本执行成功只是开始,字段、索引、默认数据和权限链路都对齐,才算云上发版前过了第一关。

    23110

    MySQL 中定义数据字段的类型

    MySQL中定义数据字段的类型对你数据库的优化是非常重要的。 MySQL支持多种类型,大致可以分为三类:数值、日期/时间和字符串(字符)类型。...---- 数值类型 MySQL支持所有标准SQL数值数据类型。...BIT数据类型保存位字段值,并且支持MyISAM、MEMORY、InnoDB和BDB表。 作为SQL标准的扩展,MySQL也支持整数类型TINYINT、MEDIUMINT和BIGINT。...每个时间类型有一个有效值范围和一个"零"值,当指定不合法的MySQL不能表示的值时使用"零"值。 TIMESTAMP类型有专有的自动更新特性,将在后面描述。...BLOB 是一个二进制大对象,可以容纳可变数量的数据。有 4 种 BLOB 类型:TINYBLOB、BLOB、MEDIUMBLOB 和 LONGBLOB。它们区别在于可容纳存储范围不同。

    3.9K00

    mysql sql同一个字段多个行转成一个字段查询

    mysql sql同一个字段多个行转成一个字段查询 如果您想要将MySQL中同一个表的不同行的值合并到一个字段中,您可以使用GROUP_CONCAT()函数。...以下是一个简单的例子,假设我们有一个名为users的表,它有一个name字段,我们想要将所有用户的名字合并到一个字段中,用逗号分隔: SELECT GROUP_CONCAT(name SEPARATOR...', ') AS names FROM users; 这将返回一个单一的行,其中包含所有用户名以逗号和空格分隔的字符串。...请注意,GROUP_CONCAT()有一个默认的长度限制,通常是1024个字符。...如果您的合并结果可能会超过这个长度,您可以在查询前通过设置group_concat_max_len会话变量来增加这个限制。

    1.5K10

    MySQL表添加了一个字段,竟然导致数据无法写入,反思

    今天有一个同事通过即时通讯工具找我,说需要做一个数据变更操作,我一看需求很简单,是新增了一个列,需要创建相关的索引。...,原本是3个维度(kind,netid,item),现在多了一个维度(room)。...他说如果不添加索引字段room,业务就写入不了数据了。 这个大大超出了我的预期,大家可以仔细看下这条SQL,按照我刚刚描述的场景,是否能够理解。...索引确实需要重建,根据业务反馈的查询场景,其实添加非唯一性索引(`day`,`netid`,`room`)已经足够覆盖目前的查询,而更有意义的是:数据写入不会因为索引设计不合理/新增业务字段而导致数据无法写入...这个业务开始的反馈是很紧急,通过熟悉业务后的改进来看,其实和开始的描述是有偏差的,业务紧急的深层次含义其实是业务因为新增字段导致写入不了数据了,所以迫切需要重建索引。

    2.2K30

    Mysql数据类型以及字段属性大盘点

    也就是说不论中间用何种分隔,存储到数据库之后都是2012-08-00 l  Datetime:存储日期和时间组合,标准格式YYYY-MM-DD HH:MM:SS。...mysql最大的整数范围,取值范围分为有符号:-9223372036854775808~9223372036854775807,无符号是0~18446744073709551615 Int:提供了第二大的整数范围...Mediumint:提供了第三大整数 SMAllint:提供了第四大整数范围 Tinyint:提供了最小的整数范围,值在-128-127(分清楚范围就不担心数据够不够存储) Decimal,double...提供第三大非二进制字符串存存储 Tinyblob:提供最小的二进制字符串存储最多255个字符 Tinytext:提供最小的非二进制字符串存储最多255个字符 Enum:枚举类型,最多可以有65535组不同的数据...Set:枚举类型,最多可以设置有64个成员 数据类型属性 Auto_increment:自增,每次插入该列的值会是上次插入值+1 Default:默认值,当没存入数据时会自动存入默认值 Index:索引

    1.4K80

    MySQL 如何存储长度很长的数据字段

    MySQL大致的逻辑存储结构在这篇文章中有介绍,做为基本概念:InnoDB 逻辑存储结构 注:文中所指的大数据指的是长度较长的数据字段,包括varchar/varbinay/text/blob。...前38个字节为File Header(关于InnoDB数据页的详细结构请参见《MySQL技术内幕 InnoDB存储引擎》4.4),这个简单提一下: cd c3 b6 8e:4字节,该页的checksum...说了这么多,总结下Compact格式存储大数据的缺点: 由于存在768字节的前缀在Page页,所以会存在能定义一个字段,存储11000字节,但是不能定义11个字段,每个字段存储1000字节的”bug”。...总结下Dynamic格式存储大数据的特点: 当数据页放不下时,MySQL会将大数据全部放在外部存储页,数据页只留指向外部存储页的指针。 外部存储页不共享,即使多余一个字节也是独享16KB的页面。...当有多个大数据字段满足上面条件,需要被放到外部存储页时,MySQL会优先选择大的字段放到外部存储页,因为这样可以最大限度的省下数据页的空间,使得更多的字段能够被放到数据页。

    7.2K20

    MYSQL数据库设计之字段选择原则

    如果想要全面的了解的话,大家可以去看高性能MYSQL这一本书籍,里面有一章节介绍的特别全面,基本涉及MYSQL中全部的字段的介绍。...在数据库设计过程中我们要本着够用的原则,如果一味的把数据字段范围设为最大或者默认值的话,会导致存储空间大量的浪费。...下面说一下字段各自的使用原则: 1.当数据存储的是字符,且长度是一个固定区间定值的话就可以考虑使用char来进行存储,如果字符长度是未知的且长度变化特别明显的话,这个时候最好使用varchar来存储。...2.数据库设计过程中尽量使用int来作为字段类型,因为在所有的数据类型中int不管是存储空间还是执行速度方面都是最好的。...在MYSQL5,5以后,varchar(x)x中范其实是存储字段的长度范围,就是一个字符代表一个长度,不管这个字符是汉子还是字符都算是一个长度单位。

    5.4K80
    领券