sql删除重复数据
来源：爱站网时间：2019-11-24编辑：网友分享
sql中我们经常可以看见一些重复数据，当出现重复数据的时候我们就需要去删除它，那么你知道如何删除重复数据吗？下面我们就一起去看看sql删除重复数据的具体方法的，希望对大家的学习有所帮助。
sql中我们经常可以看见一些重复数据，当出现重复数据的时候我们就需要去删除它，那么你知道如何删除重复数据吗？下面我们就一起去看看sql删除重复数据的具体方法的，希望对大家的学习有所帮助。
一. 删除完全重复的记录
完全重复的数据，通常是由于没有设置主键/唯一键约束导致的。
测试数据：
复制代码 代码如下:
if OBJECT_ID('duplicate_all') is not null
drop table duplicate_all
GO
create table duplicate_all
(
c1 int,
c2 int,
c3 varchar(100)
)
GO
insert into duplicate_all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 1,100,'aaa' union all
select 2,200,'bbb' union all
select 3,300,'ccc' union all
select 4,400,'ddd' union all
select 5,500,'eee'
GO
(1) 借助临时表
利用DISTINCT得到单条记录，删除源数据，然后导回不重复记录。
如果表不大的话，可以把所有记录导出一次，然后truncate表后再导回，这样可以避免delete的日志操作。
复制代码 代码如下:
if OBJECT_ID('tempdb..#tmp') is not null
drop table #tmp
GO
select distinct * into #tmp
from duplicate_all
where c1 = 1
GO
delete duplicate_all where c1 = 1
GO
insert into duplicate_all
select * from #tmp
(2) 使用ROW_NUMBER
如果多个表有完全重复的行，可以考虑通过UNION将多个表联合，插到一个新的同结构的表，SQL Server会帮助去掉表和表之间的重复行。
部分列重复的数据，通常表上是有主键的，可能是程序逻辑造成了多行数据列值的重复。
测试数据：
唯一索引有个忽略重复建的选项，在创建主键约束/唯一键约束时都可以使用这个索引选项。
复制代码 代码如下:
if OBJECT_ID('tmp') is not null
drop table tmp
GO
create table tmp
(
c1 int,
c2 int,
c3 varchar(100),
constraint UQ_01 unique(c2,c3) with(IGNORE_DUP_KEY = ON)
)
GO
insert into tmp
select * from duplicate_col
select * from tmp
(2) 借助主键/唯一键来删除
通常会选择主键/唯一键的最大/最小值保留，其他行删除。以下只保留重复记录中c1最小的行。
复制代码 代码如下:
delete from duplicate_col
where exists(select 1 from duplicate_col b where duplicate_col.c1 > b.c1 and (duplicate_col.c2 = b.c2 and duplicate_col.c3 = b.c3))
--或者
复制代码 代码如下:
delete from duplicate_col
where c1 not in (select min(c1) from duplicate_col group by c2,c3)
如果要保留重复记录中的第N行，可以参考05.取分组中的某几行。
(3) ROW_NUMBER
和删除完全重复记录的写法基本一样。
上文中主要介绍了sql删除重复数据的具体方法，如果您有很多不明白的，没关系，记录下这些技巧，常来爱站技术频道看看！
下一篇：SQL查询重复记录的方法
