首页
学习
活动
专区
圈层
工具
发布

MYSQL学习:GROUP BY分组取最新的一条记录

日常开发当中,经常会遇到查询分组数据中最新的一条记录,比如统计当前系统每个人的最新登录记录、外卖系统统计所有买家最新的一次订单记录、图书管理系统借阅者最新借阅书籍的记录等等。...今天给大家介绍一下如何实现以上场景的SQL写法,希望对大家能有所帮助!...1、初始化数据表 -- 借阅者表 CREATE TABLE `userinfo` ( `uid` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键', `uname...INTO `borrow_record` VALUES (15, 4, 3, '2021-04-15 19:45:00' ); 写法1 直接group by 根据userid ,使用聚合函数max取得最近的浏览时间...BY a.user_id -- 说明: 这样会存在获取书籍名称错乱的情况, -- 因为使用聚合函数获取的书籍名称,不一定是对应用户 -- 最新浏览记录对应的书籍名称 写法2 采用子查询的方式,获取借阅记录表最近的浏览时间作为查询条件

23.2K20

MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据

开发背景:   最近在做一个批量数据导入到MySQL数据库的功能,从批量导入就可以知道,这样的数据在插入数据库之前是不会进行重复判断的,因此只有在全部数据导入进去以后在执行一条语句进行删除,保证数据唯一性...HAVING COUNT(brandName)>1 #条件是数量大于1的重复数据 ) 使用SQL删除多余的重复数据,并保留Id最小的一条唯一数据: 注意点: 错误SQL:DELETE FROM brand...Id FROM (SELECT MIN(Id) AS Id FROM brand GROUP BY brandName HAVING COUNT(brandName)>1) t) #查询显示重复的数据都是显示最前面的几条...Id FROM (SELECT MIN(Id) AS Id FROM brand GROUP BY brandName) t) 这句的意思其实就是,通过分组统计出数据库中不重复的最小数据id编号,让后通过...not in 去删除其他重复多余的数据。

4.7K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    将爬取的数据保存到mysql中

    为了把数据保存到mysql费了很多周折,早上再来折腾,终于折腾好了 安装数据库 1、pip install pymysql(根据版本来装) 2、创建数据       打开终端 键入mysql -u root...7、爬取数据保存到mysql scrapy crawl xhwang 之前报错为2018-10-18 09:05:50 [scrapy.log] ERROR: (1241, 'Operand should...然后又查了下原因终于解决问题之所在 在图上可以看出,爬取的数据结果是没有错的,但是在保存数据的时候出错了,出现重复数据。那为什么会造成这种结果呢? ...其原因是由于spider的速率比较快,scrapy操作数据库相对较慢,导致pipeline中的方法调用较慢,当一个变量正在处理的时候 一个新的变量过来,之前的变量值就会被覆盖了,解决方法是对变量进行保存...完成以上设定再来爬取,OK 大功告成(截取部分) ?

    6.1K30

    量化回测数据准备:批量拉取300只股票,最怕的不是报错,而是少返回两只

    本文从批量拉取历史行情的实际问题出发,梳理标的集合校验、字段检查和数据质量审计的实现方式,建立一套能够在回测启动前发现问题的标准化数据准备流程。...假设请求三只股票,每只股票理论上有20个交易日的数据。预期行数是60。但实际结果可能是:第一只股票返回20行。第二只股票返回20行。第三只股票只返回10行。第一只股票又因为重复记录多出10行。...示例以三只不同交易所的股票为例,拉取日线数据,并检查返回结果中的关键字段、标的集合和重复记录。需要注意,代码不会假定所有股票都必须具有相同的行数。...因为重复行情可能来自分页重叠、重复写入或数据源异常,直接保留第一条会掩盖问题。第四,价格和成交量校验只是基础检查。生产环境还需要检查价格关系、极端跳变、交易日历和上市日期。...300只标的返回299只时,应该明确知道少了哪一只,而不是只记录一个总行数。避坑点二:不要用固定行数判断所有股票的数据质量股票的上市时间、停牌状态和交易市场都可能不同。

    26510

    Power Query合并查询,怎样像VLookup那样只取第1行的数据?

    小勤:Power Query里的合并查询(参考文章:vlookup虽好,然难承大数据之重【PQ关联表合并】)强大过头了!我现在的数据一对多的,只想把第1行的数据取回来,该怎么办?...大海:只想取第1行的数据其实也很简单啊。...方法也很多,比如简单操作的话,你可以展开后再删重复项…… 小勤:这个操作起来是简单,但总感觉有点儿儍啊…… 大海:当然,还有更好的方法,那就是在展开数据之前,直接用Table.TransformColumns...进行转换(提取合并查询表中的数据),即对合并查询步骤生成的公式修改如下(增加紫色划线部分): 小勤:啊,原来这样!...大海:对的,通过这种方法,你还可以继续修改其中的转换参数,想要多少行就多少行,或对表进行各种处理后再展开数据。比如,不是提取第2行,而是要提取前2行: 小勤:牛!

    3.5K11

    JPA实体类有Id保存也会新增一条新的数据问题

    还是遇见的问题太少。遇见的问题越多,知道的就会越多。 两个不同的实体类深拷贝,然后把id赋值回去更新,会出现一条新数据。...save方法的第一句代码就是判断entity是否是新增还是更新。...2.看isNew实现 第一个是AbstractPersistable提供的,也是我们熟知的 ,根据id是否为空来判断是否是更新 /** * Must be {@link Transient} in...和数据库里的Version一致,不然就是新增操作。...总结:我一直在各种打印 id有木有赋值进去,刚开始是从对象里get出来的,后来又赋值给一个变量,然后怀疑jpa是不是直接拿自己的属性,而不是拿public方法(id是父类继承下来的),反正折腾了好久。

    4K20

    爬取微博图片数据存到Mysql中遇到的

    前言   由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb,由于对Mysql的各种不熟悉,踩了无数坑,来来回回改了3天才完成...PS:(本人长期出售超大量微博数据、旅游网站评论数据,并提供各种指定数据爬取服务,Message to YuboonaZhang@Yahoo.com。...同时欢迎加入社交媒体数据交流群:99918768) 挖坑填坑之旅 建表 存数据的时候首先需要设计数据库,我准备设计了3个表 微博表:[id, userid, blog_text, lat, lng, created_time...pkey: (id, md5)   fkey: (id, 微博表id)  (md5, 图片表md5)   建表的时候别的问题都还好,主要是 pic_bin 的类型和 blog_text 的类型有很大的问题...pic_bin = str(base64.b64encode(pic_bin))[2:-1] 改配置文件   由于使用Python多进程,一个小时8G数据量,图片数据比较大,发包的时候回超过mysql的默认限制

    2.7K30

    MySQL 数据库表格创建、数据插入及获取插入的 ID:Python 教程

    创建表格 要在MySQL中创建表格,请使用"CREATE TABLE"语句。 确保在创建连接时定义了数据库的名称。...检查表格是否存在 您可以通过使用"SHOW TABLES"语句列出数据库中的所有表格来检查表格是否存在: 示例返回系统中的表格列表: import mysql.connector mydb = mysql.connector.connect...示例在 "customers" 表格中插入一条记录: import mysql.connector mydb = mysql.connector.connect( host="localhost"...executemany() 方法的第二个参数是包含要插入数据的元组列表: 示例填充 "customers" 表格的数据: import mysql.connector mydb = mysql.connector.connect...获取插入的ID 您可以通过询问游标对象来获取刚刚插入的行的ID。 注意:如果插入多行,将返回最后插入行的ID。

    2.3K20

    默认先有一条本机数据源:内置取数能力的三个理由

    通道回答从哪里取数,次序回答先做哪一步。先内置一条本机通道,外接才是增强而不是前提。...默认先有一条本机数据源:内置取数能力的三个理由先说清楚:本文在讲什么数据桥的通道里,有一条叫 本机:跟系统配置走,默认存在。...许多人以为「真正的数据源」只指外库或接口——这套方案相反:本机优先,外接是增强,不是前提。本篇讨论: 为什么平台要先从「系统自己」长出默认能力。 读完应能说清:本机优先是产品策略。...把本机当成可有可无的附录。连性别、是否都放到远端——契约漂在别人家里。具体怎么做默认存在本机通道——不另填连接串也能开始设计。常量主要长在本机——契约跟平台走。本机仍完整具备名单 / 问答 / 办事。...外库与 HTTP 是同构扩展——语义不改,只换供数通道。场景第一周:本机枚举做请假类型、本机字典做部门,流程先跑通。第二期:部门改挂业务库、出库改挂 HTTP——业务人员仍认「名单」和「办事」。

    8910

    数据库实战:揭秘MySQL中WHERE id=123的索引失效之谜

    这是某电商平台DBA小张上周遇到的诡异现象。一条简单的SELECT * FROM orders WHERE order_id='10086'查询,在百万级数据表中竟需要3秒响应。...经过层层排查,最终发现元凶竟是这个看似普通的等号查询——数字类型的order_id字段与字符串格式的查询值发生了隐式类型转换。...一、原理剖析:隐式转换如何肢解你的索引1.1 MySQL的类型转换规则当比较字符与数字类型时,MySQL会按照以下规则处理:若一方为字符类型,会尝试将字符转换为数字转换规则:从左到右扫描字符串,直到遇到非数字字符停止转换示例...VARCHAR(20), INDEX idx_id(id));当执行WHERE id = '100'时:将字符串'100'转换为数字100对id字段的每个值执行相同转换导致索引字段参与计算,触发..."索引失效公式" 索引失效公式:对索引字段进行任何运算(包括类型转换),都将导致无法使用索引树定位二、实战解决方案2.1 方案一:统一数据类型(推荐)核心原则:保证查询条件与字段类型严格一致-- 创建测试表

    79951

    Java8(jdk1.8)Optional排序倒叙以及取最后一条数据的问题

    获取一个list数组查到level的所有数据,然后进行过滤去重,根据level进行排序,取到查出的list数据中level最大的一条数据。...思路: 1.先用filter进行过滤(去重) 2.sort方法进行根据int类型进行排序(第一条的level最小) 3.排序之后用reversed方法进行颠倒 4.再用findFirst即可取到最后一条...Comparator.comparingInt((NeoDepart m) -> m.getLevel()).reversed()) 使用sorted进行排序之后接着用reversed进行倒叙时,容易出现找不到类的错误...,原因是排序之后再倒叙,倒叙后的list不知道自己是属于哪个类,所以要在排序的对象前加一个类名 (NeoDepart ) 这样,之后用isPresent判断是否存在值,进行接下来的业务逻辑操作。

    3.1K51

    一条更新SQL在MySQL数据库中是如何执行的

    点击关注"故里学Java" 右上角"设为星标"好文章不错过 前边的在《一条SQL查询在MySQL中是怎么执行的》中我们已经介绍了执行过程中涉及的处理模块,包括连接器、分析器、优化器、执行器、存储引擎等。...今天我们来一起看看一条更新语句又是怎么一个执行流程。 查询语句的一套执行流程,更新语句也会同样的走一步,下边我们在对照上次文章中的图来简单的看一下: ?...我们先创建一张表,这个表有主键ID和一个整型字段c: mysql> create table demo T (ID int primarty ,c int); 然后将ID=2的这一行的值加1 mysql...假设redolog写完,binlog还没写完,MySQL进程异常重启了。我们知道,redolog写完以后,系统即使崩溃了,也可以将数据恢复,所以在MySQL重启后,这一行会被恢复成1。...由于binlog没写完就crash,这时候binlog里面是没有这个语句的,因此之后备份日志的的时候,存起来的binlog日志也没有这一条语句。

    6.3K30

    mysql过滤表中重复数据,查询表中相同数据的最新一条数据

    先查询表几条demo数据,名字相同,时间不同 select id,name,create_date from sys_user 20181123171951945.png 方法1:最简单,且字段全部相同...,排除其他字段不同; 先对表按照时间desc排序,在查询该层使用group by 语句,它会按照分组将你排过序的数据的第一条取出来 select id,name,create_date from...( select * from sys_user order by create_date desc) a group by a.name 方法2:使用not exists,该方法通过相同名字的不同创建的时间进行比较...select id,name,create_date from sys_user a where not exists (select * from sys_user b where a.name...( -- 先查询出最后一条数据的时间 select id,name, MAX(create_date) create_date from sys_user group

    8.2K40

    用Python爬取淘宝4403条大裤衩数据进行分析,终于找到可以入手的那一条

    无比懊恼的J哥扔掉了手机,打开电脑并爬取了淘宝4403条大裤衩数据,然后进行了可视化分析,并最终找到一条可以入手的大裤衩。本文主要尝试解决以下几个问题: 1.国内哪些地方的大裤衩卖的比较好?...数据获取 淘宝网站是一个ajax动态加载的网站,只能通过解析接口或用selenium自动化测试工具去爬取。...= page_num: print("-" * 100) print("正在爬取第{}页大裤衩数据".format(page_num + 1)) browser.get...数据可视化 数据清洗干净后,接下来就可以做可视化分析了,本次可视化分析主要用到Python的pyecharts库和BI工具。 我们首先来看点有意思的数据,最贵的大裤衩和最便宜的大裤衩的区别: ?...二.大裤衩市场价格是怎样的? ? 要想买到一条合适的大裤衩,不仅需要分析销量因素,咱们还得分析价格因素。由上图可知,80%的大裤衩价格在50元以下,100元以上的大裤衩占比不到2%。

    1.2K30
    领券