• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    一条sql语句完成MySQL去重留一

    前几天在做一个需求的时候,需要清理mysql中重复的记录,当时的想法是通过代码遍历写出来,然后觉得太复杂,心里想着应该可以通过一个sql语句来解决问题的。查了资料,请教了大佬之后得出了一个很便利的sql语句,这里分享下这段sql语句和思路。

    需求分析

    数据库中存在重复记录,删除保留其中一条(是否重复判断基准为多个字段)

    解决方案

    碰到这个需求的时候,心里大概是有思路的。最快想到的是可以通过一条sql语句来解决,无奈自己对于复杂sql语句的道行太浅,所以想找大佬帮忙。

    找人帮忙

    因为这个需求有点着急,所以最开始想到的是,可以找这方面的同行来解决,然后分享这个问题给同事,结果这货随便百度了一下,就甩给我一个从未用过的sql语句,让我自己尝试,心里万匹那啥啥啥奔腾而过...

    自己百度

    找到了一条sql语句:

    DELETE
    FROM
     vitae a
    WHERE
     (a.peopleId, a.seq) IN (
      SELECT
       peopleId,
       seq
      FROM
       vitae
      GROUP BY
       peopleId,
       seq
      HAVING
       count(*) > 1
     )
    AND rowid NOT IN (
     SELECT
      min(rowid)
     FROM
      vitae
     GROUP BY
      peopleId,
      seq
     HAVING
      count(*) > 1
    )
    

    这条语句是在 【MySQL中删除重复数据只保留一条】 这篇文章里找到的。这条sql思路很明显,有以下3步:

    SELECT peopleId, seq FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 查询出表中重复记录作为条件

    SELECT min(rowid) FROM vitae GROUP BY peopleId, seq HAVING count(*) > 1 查询出表中重复记录中ID最小的值为第二个条件

    最后根据以上两个条件,删除 重复记录中最小ID的其余重复记录

    但是很无奈的是,运行这条语句出现了错误,大致报错意思是,不能在查询的时候同时更新这个表。

    代码解决

    根据上面这个sql语句想到或许可以通过代码的方式,两步来达到同样的目的:

    先取出重复的数据集

    根据查询到的数据集,循环删除其余的重复数据

    想法是有了,写出来也很快,但是一运行吓我一跳,竟然需要 116s 左右,然后自己就想一定要找到可以使用的sql语句,贴一下代码和运行结果:

    完美的【去重留一】SQL

    最后在一个技术群里得到了完美的答案,看这条sql语句:

    DELETE consum_record
    FROM
     consum_record, 
     (
      SELECT
       min(id) id,
       user_id,
       monetary,
       consume_time
      FROM
       consum_record
      GROUP BY
       user_id,
       monetary,
       consume_time
      HAVING
       count(*) > 1
     ) t2
    WHERE
     consum_record.user_id = t2.user_id 
     and consum_record.monetary = t2.monetary
     and consum_record.consume_time = t2.consume_time
    AND consum_record.id > t2.id;
    

    上面这条sql语句,仔细看一下,揣摩出思路也不难,大概也分为3步来理解:

    (SELECT min(id) id, user_id, monetary, consume_time FROM consum_record GROUP BY user_id, monetary, consume_time HAVING count(*) > 1 ) t2 查询出重复记录形成一个集合(临时表t2),集合里是每种重复记录的最小ID

    consum_record.user_id = t2.user_id and consum_record.monetary = t2.monetary and consum_record.consume_time = t2.consume_time 关联 判断重复基准的字段

    根据条件,删除原表中id大于t2中id的记录

    看到这个语句的时候,心里想这也太厉害了。这么一个简单的sql语句,竟然可以解决这么复杂的问题,涨姿势了~

    运行起来也超级快,原先的代码循环执行,需要 116s 左右,而这里 0.3s 就可以了,厉害了~

    总结

    作为一个php程序猿,按理来说sql这里是不能拖后腿的,无奈实际中,需要忙碌的事情太多,现在的sql水平也只是处于在一个普通的层次中,以后找机会一定要补一下这方面的知识。

    今天就分享到这里啦。

    您可能感兴趣的文章:
    • 解析mysql中:单表distinct、多表group by查询去除重复记录
    • mysql SELECT语句去除某个字段的重复信息
    • MySQL 去除重复数据实例详解
    • MySQL去重的方法整理
    • mysql 开发技巧之JOIN 更新和数据查重/去重
    • Mysql删除重复的数据 Mysql数据去重复
    • mysql去重的两种方法详解及实例代码
    • MySQL数据表合并去重的简单实现方法
    • 将MySQL去重操作优化到极致的操作方法
    • mysql自联去重的一些笔记记录
    • mysql优化小技巧之去除重复项实现方法分析【百万级数据】
    上一篇:MYSQL如何自动为查询数据的结果编上序号详解
    下一篇:MySQL数据库Event定时执行任务详解
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    一条sql语句完成MySQL去重留一 一条,sql,语句,完成,MySQL,