V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
ace12
V2EX  ›  MySQL

各位 crud 大佬,如何一句 SQL 删除没有主键表中的重复数据?

  •  
  •   ace12 · 2019-07-03 22:24:01 +08:00 · 5041 次点击
    这是一个创建于 1977 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,我已经在网上搜过了。。并没有找到合适的解决办法,都基本上有主键的,要不然就是对表的重复项顺序有要求

    17 条回复    2019-07-04 10:37:06 +08:00
    jugelizi
        1
    jugelizi  
       2019-07-03 22:36:40 +08:00
    。。。换个思路 group 导出后删除原始数据再恢复
    sker101
        2
    sker101  
       2019-07-03 22:45:14 +08:00
    搜索了下 试试
    CREATE TABLE temp SELECT DISTINCT * FROM tablename;
    ALTER TABLE tablename RENAME junk;
    ALTER TABLE temp RENAME tablename;
    ace12
        3
    ace12  
    OP
       2019-07-03 22:48:01 +08:00 via Android
    @sker101 气人的就是这一点,只能写一句,多句的我也知道
    dusu
        4
    dusu  
       2019-07-03 22:51:55 +08:00 via iPhone
    没索引…做倒排是性能+速度+稳定的不错选择
    Iamnotfish
        5
    Iamnotfish  
       2019-07-03 23:02:40 +08:00
    面向谷歌编程:
    DELETE TOP (SELECT COUNT(*) -1 FROM dbo.duplicateTest WHERE ID = 1)
    FROM dbo.duplicateTest
    WHERE ID = 1 但是只能删除指定 ID 的重复数据
    leishi1313
        6
    leishi1313  
       2019-07-04 00:04:11 +08:00 via Android
    先做一个 group by rank,重复去的数据视为在一个 group,然后外面再套个 delete where rank > 1 就好了。具体你先搜“ SQL group by rank ”,各家不一样看你用什么数据库了
    txy3000
        7
    txy3000  
       2019-07-04 00:24:05 +08:00 via Android
    一句 SQL 什么鬼 炫技吗?
    jingyulong
        8
    jingyulong  
       2019-07-04 00:32:28 +08:00 via iPhone
    有个思路,利用 top 来做,先 groupby,得出重复数量,top (重复数量-1 ),卧槽,跟楼上有点像
    msg7086
        9
    msg7086  
       2019-07-04 02:18:12 +08:00
    重复数据就开 LIMIT 啊。
    比如一个表只有一个字段,里面有两条重复数据,那你 DELETE WHERE 条件 LIMIT 1 就好了嘛。
    msg7086
        10
    msg7086  
       2019-07-04 02:19:28 +08:00
    一句 SQL 是真的意义不大吧……
    c6h6benzene
        11
    c6h6benzene  
       2019-07-04 02:39:32 +08:00   ❤️ 1
    删除重复数据跟有没有主键没有关系吧,你可以按重复项用 ROW_NUMBER()之类的排个序,然后把所有 number>1 的全删了。
    xuanbg
        12
    xuanbg  
       2019-07-04 07:49:30 +08:00
    delete a from table a
    join (select id from table group by id having count(id) > 1) b on b.id = a.id
    xuanbg
        13
    xuanbg  
       2019-07-04 07:58:33 +08:00
    上面的 sql 写错了一点,又不能修改,还不能写新的 SQL。。。。总之是根据重复字段分组,然后取某个字段的最大值或最小值,按这个字段的值做 join 条件,就能把这一条数据删掉了
    JerryV2
        14
    JerryV2  
       2019-07-04 08:04:36 +08:00
    Oracle 乱入
    delete from table where rowid not in (select max(rowid) from table group by a, b, c, d );
    [狗头]
    real3cho
        15
    real3cho  
       2019-07-04 10:24:32 +08:00
    解决业务问题的话 纠结一句就是钻牛角尖 其他情况的话 当我没说
    7654
        16
    7654  
       2019-07-04 10:28:21 +08:00
    老哥稳,为何要一条 SQL 解决问题
    realpg
        17
    realpg  
       2019-07-04 10:37:05 +08:00
    想起了多年前面试一个 java 商业软件转 PHP 的
    面试考点是一个不能直接简单 SQL 解决的删除问题
    考察点就是性能 最优解 把数据库无法有效利用索引的部分代入 PHP 循环进行计算,把复杂查询变换为多个可有效利用索引高效的简单查询

    这大哥可好,一副很牛逼的样子 20 分钟后给了我一句文本内容将近 4KB 的 SQL 解决问题……

    上模拟测试库执行时间将近 2 秒……
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2854 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 12:19 · PVG 20:19 · LAX 04:19 · JFK 07:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.