热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

为某XXX手机公司删除重复数据优化一例

这是他们一个开发写的SQL,目的是删除重复数据,且id是最小值的行不删除:deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

这是他们一个开发写的SQL,目的是删除重复数据,且id是最小值的行不删除:deletefromjd_chapterawherea.`id`in(select`id`fromjd_chaptergroup&nbs..

这是他们一个开发写的SQL,目的是删除重复数据,且id是最小值的行不删除:

因为表大(千万级别),且使用了两个子查询,执行了很久没有执行完。

--------------------------思路----------------------------

采用临时表做关联,以下是步骤:

一、先到Slave库上把重复数据导出来,网站空间,避免造成主库压力过大。

  • into outfile '/tmp/jd_chapter.sql' FIELDS TERMINATED BY ',';
  • 二、拷贝导出的SQL到Master主库的/tmp/目录下

    三、在Master主库上,建立一张临时表,并创建主键:

  • Query OK, 0 rows affected (0.07 sec)
  • 四、在Master主库上,LOAD方式导入至临时表里

  • load data infile '/tmp/jd_chapter.sql' into table tmp FIELDS TERMINATED BY ',';
  • 五、在Master主库上,删除临时表最小的id

  • delete from tmp limit 1;
  • 六、用临时表做关联,删除jd_chapter表重复数据

  • 本文出自 “贺春旸的技术专栏” 博客,网站空间,请务必保留此出处

    ,虚拟主机
    推荐阅读
    • 作者:守望者1028链接:https:www.nowcoder.comdiscuss55353来源:牛客网面试高频题:校招过程中参考过牛客诸位大佬的面经,但是具体哪一块是参考谁的我 ... [详细]
    • 本文将深入探讨使用IMPDP工具进行分区表导入时需要注意的事项,涵盖最佳实践和常见问题。通过详细的分析与解释,帮助读者更好地理解和应用这些知识。 ... [详细]
    • MySQL DateTime 类型数据处理及.0 尾数去除方法
      本文介绍如何在 MySQL 中处理 DateTime 类型的数据,并解决获取数据时出现的.0尾数问题。同时,探讨了不同场景下的解决方案,确保数据格式的一致性和准确性。 ... [详细]
    • 本文探讨了在Windows Server 2008环境下配置Tomcat使用80端口时遇到的问题,包括端口被占用、多项目访问失败等,并提供详细的解决方法和配置建议。 ... [详细]
    • 通过Web界面管理Linux日志的解决方案
      本指南介绍了一种利用rsyslog、MariaDB和LogAnalyzer搭建集中式日志管理平台的方法,使用户可以通过Web界面查看和分析Linux系统的日志记录。此方案不仅适用于服务器环境,还提供了详细的步骤来确保系统的稳定性和安全性。 ... [详细]
    • 本文介绍如何在PostgreSQL数据库中正确插入和处理JSON数据类型,确保数据完整性和避免常见错误。 ... [详细]
    • 本文探讨了Microsoft OLE DB Provider for SQL Server错误80004005的成因与解决方法,详细分析了SQL Server连接失败的原因,并提供了多个有效的解决方案。 ... [详细]
    • 深入理解T-SQL中的NULL与三值逻辑
      本文探讨了SQL Server中的三值逻辑,解释了谓词计算结果为TRUE、FALSE和UNKNOWN的规则。通过具体示例,详细说明了如何正确处理NULL值,并探讨了在不同约束条件下的行为。 ... [详细]
    • 本文介绍如何在Qt应用程序中让QLineEdit控件获得输入焦点,通过简单的代码示例和解释,帮助开发者更好地理解和使用这一功能。 ... [详细]
    • 数据结构入门:栈的基本概念与操作
      本文详细介绍了栈这一重要的数据结构,包括其基本概念、顺序存储结构、栈的基本操作(如入栈、出栈、清空栈和销毁栈),以及如何利用栈实现二进制到十进制的转换。通过具体代码示例,帮助读者更好地理解和应用栈的相关知识。 ... [详细]
    • 探讨如何从数据库中按分组获取最大N条记录的方法,并分享新年祝福。本文提供多种解决方案,适用于不同数据库系统,如MySQL、Oracle等。 ... [详细]
    • 本文介绍如何在SQL Server中对Name列进行排序,使特定值(如Default Deliverable Submission Notification)显示在结果集的顶部。 ... [详细]
    • 在尝试用另一台电脑的MySQL文件替换本地D:\xampp\mysql目录后,MySQL服务无法启动。错误提示显示MySQL意外关闭,可能是由于端口冲突、依赖缺失、权限问题或崩溃等原因引起。 ... [详细]
    • SQL查询指定时间段内票数总和并按降序排列
      本文介绍如何使用SQL语句查询特定时间段内的票数总和,并按照票数从高到低进行排序。通过实际案例和详细解释,帮助读者理解SQL查询的实现方法。 ... [详细]
    • 20100423:Fixes:更新批处理,以兼容WIN7。第一次系统地玩QT,于是诞生了此预备式:【QT版本4.6.0&#x ... [详细]
    author-avatar
    手机用户2602918063
    这个家伙很懒,什么也没留下!
    PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
    Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有