热门标签 | HotTags
当前位置:  开发笔记 > 数据库 > 正文

SQL中删除重复记录-mysql教程

这是一篇在mssqlserver2008中的一种删除重复记录的sql语句,有需要的朋友可以参考一下哦。

这是一篇在mssql server 2008中的一种删除重复记录的sql语句,有需要的朋友可以参考一下哦。

在Database中可能由于某种原因如用户输入,导入数据失败等 导致了重复记录. 如果你没有用主键,约束,或来其它机制实现数据完整性,那最后总是重复记录在你的中.现在让我们来看在SQL SERVER 2008中如何删除这些记录, 首先,可以模拟造一些简单重复记录:

代码如下

Create Table dbo.Employee

([Id] int Primary KEY ,

[Name] varchar(50),

[Age] int,

[Sex] bit default 1)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(1,'James',25,default)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(2,'James',25,default)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(3,'James',25,default)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(4,'Lisa',24,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(5,'Lisa',24,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(6,'Lisa',24,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(7,'Mirsa',23,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(8,'Mirsa',23,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(9,'Mirsa',23,0)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(10,'John',26,default)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(11,'Abraham',28,default)

Insert Into Employee ([Id] , [Name] , [Age] , [Sex] ) Values(12,'Lincoln',30,default)

Select * From dbo.Employee

首先我们使用最常见的方法:

代码如下

Delete From Employee Where Name in (

Name

From Employee Group By Name Having Count(Name)>1);


接着使用RowNumber():

代码如下

Delete T From(

Select Row_Number() Over(Partition By [Name] Order By (SELECT 0)) As RowNumber,* From Employee) T

Where T.RowNumber > 1;

With Du as

(

select ROW_NUMBER() Over(Partition by [Name] Order by (SELECT 0)) as rn

FROM Employee

)

Delete From Dups

Where rn>1;

WITH Dups As

(

Select [ID],[Name],[Age],[Sex]

, ROW_NUMBER() OVER(Partition By [Name] Order By (SELECT 0)) AS rn

,RANK() OVER(Partition By [Name] Order By (SELECT 0)) AS rnk

FROM Employee

)

DELETE FROM Dups

WHERE rn<>rnk;

下面是这四个T-SQL查询的执行计划:

你可以看到没有用CTE的方法开销最大, 主要是在Table Spool, 这里开销了44%, Table Spool 是一个物理运算符。

Table Spool 运算符扫描输入,并将各行的一个副本放入隐藏的假脱机表中,此表存储在 tempdb 数据库中并且仅在查询的生存期内存在。如果重绕该运算符(例如通过 Nested Loops 运算符重绕),但不需要任何重新绑定,则将使用假脱机数据,而不用重新扫描输入。

注意上面的方法只是在重复记录比较少的情况下, 如果重复记录多. DELETE将会非常慢, 最好的方法是复制目标数据到另一个新表,删除原来的表,重命名新表为原来的表. 或用临时表, 这样还可以减少数据库事务日志. 看下面的T-SQL:

代码如下

WITH Dups As

(

Select [ID],[Name],[Age],[Sex]

, ROW_NUMBER() OVER(Partition By [ID] Order By (SELECT 0)) AS rn

FROM Employee

)

Select [ID],[Name],[Age],[Sex]

INTO dbo.EmployeeDupsTmp

FROM Dups

WHERE rn=1

DROP TABLE dbo.Employee;

EXEC sp_rename 'dbo.EmployeeDupsTmp','Employee'


推荐阅读
  • PHP 编程疑难解析与知识点汇总
    本文详细解答了 PHP 编程中的常见问题,并提供了丰富的代码示例和解决方案,帮助开发者更好地理解和应用 PHP 知识。 ... [详细]
  • 本文详细介绍了如何使用libpq库与PostgreSQL后端建立连接。通过探讨PQconnectdb()函数的工作原理及其在实际应用中的使用方法,帮助读者理解并掌握建立高效、稳定的数据库连接的关键步骤。 ... [详细]
  • 本文详细介绍了HTML中标签的使用方法和作用。通过具体示例,解释了如何利用标签为网页中的缩写和简称提供完整解释,并探讨了其在提高可读性和搜索引擎优化方面的优势。 ... [详细]
  • 数据库内核开发入门 | 搭建研发环境的初步指南
    本课程将带你从零开始,逐步掌握数据库内核开发的基础知识和实践技能,重点介绍如何搭建OceanBase的开发环境。 ... [详细]
  • 本文深入探讨 MyBatis 中动态 SQL 的使用方法,包括 if/where、trim 自定义字符串截取规则、choose 分支选择、封装查询和修改条件的 where/set 标签、批量处理的 foreach 标签以及内置参数和 bind 的用法。 ... [详细]
  • 使用C#开发SQL Server存储过程的指南
    本文介绍如何利用C#在SQL Server中创建存储过程,涵盖背景、步骤和应用场景,旨在帮助开发者更好地理解和应用这一技术。 ... [详细]
  • 本文探讨了适用于Spring Boot应用程序的Web版SQL管理工具,这些工具不仅支持H2数据库,还能够处理MySQL和Oracle等主流数据库的表结构修改。 ... [详细]
  • 本文详细介绍了如何通过多种编程语言(如PHP、JSP)实现网站与MySQL数据库的连接,包括创建数据库、表的基本操作,以及数据的读取和写入方法。 ... [详细]
  • 在当前众多持久层框架中,MyBatis(前身为iBatis)凭借其轻量级、易用性和对SQL的直接支持,成为许多开发者的首选。本文将详细探讨MyBatis的核心概念、设计理念及其优势。 ... [详细]
  • 在使用 DataGridView 时,如果在当前单元格中输入内容但光标未移开,点击保存按钮后,输入的内容可能无法保存。只有当光标离开单元格后,才能成功保存数据。本文将探讨如何通过调用 DataGridView 的内置方法解决此问题。 ... [详细]
  • 本文详细介绍了如何在 Linux 平台上安装和配置 PostgreSQL 数据库。通过访问官方资源并遵循特定的操作步骤,用户可以在不同发行版(如 Ubuntu 和 Red Hat)上顺利完成 PostgreSQL 的安装。 ... [详细]
  • 如何在PostgreSQL中查看数据表
    本文将指导您使用pgAdmin工具连接到PostgreSQL数据库,并展示如何浏览和查找其中的数据表。通过简单的步骤,您可以轻松访问所需的表结构和数据。 ... [详细]
  • 利用存储过程构建年度日历表的详细指南
    本文将介绍如何使用SQL存储过程创建一个完整的年度日历表。通过实例演示,帮助读者掌握存储过程的应用技巧,并提供详细的代码解析和执行步骤。 ... [详细]
  • 本文介绍了如何通过 Maven 依赖引入 SQLiteJDBC 和 HikariCP 包,从而在 Java 应用中高效地连接和操作 SQLite 数据库。文章提供了详细的代码示例,并解释了每个步骤的实现细节。 ... [详细]
  • 在使用SQL Server进行动态SQL查询时,如果遇到LIKE语句无法正确返回预期结果的情况,通常是因为参数传递方式不当。本文将详细探讨这一问题,并提供解决方案及相关的技术背景。 ... [详细]
author-avatar
Rianbow_小渊渊设
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有