SQL Server删除重复数据只保留一条的实现步骤

admin MsSql

2024-03-01 0 981

介绍

最近在导入数据库数据, 有时候给的数据源文件,存在重复数据, 需要清除但是还需要保留一条记录的需求.

本文将介绍如何使用SQL Server来实现这个需求。

流程

下面是实现删除重复数据的流程，我们可以用表格展示每个步骤：

步骤描述步骤一先看看有哪些重复的数据步骤二根据条件删除重复数据

SQL实现

步骤一：先看看有哪些重复的数据(根据条件分组)

首先，我们需要查询出所有重复数据，以便后续删除操作。以下是查询重复数据的代码：

SELECT col1, col2, COUNT(*) AS count
FROM table_name
GROUP BY col1, col2
HAVING COUNT(*) > 1;

这段代码将会返回具有重复值的记录，并且还会显示重复次数。需要根据实际情况将 table_name 替换为你所使用的表名，col1, col2 替换为需要判断重复的列。

步骤二：根据条件删除重复数据

在查询出所有重复数据后，我们可以根据条件删除这些重复数据，只保留一条。以下是删除重复数据的代码：

WITH cte AS (
SELECT col1, col2, ROW_NUMBER() OVER(PARTITION BY col1, col2 ORDER BY (SELECT 0)) AS rn
FROM talbe_name
)
DELETE FROM cte
WHERE rn > 1;

这段代码使用了 ROW_NUMBER() 函数和一个公共表表达式（Common Table Expression，CTE）来为每条记录分配一个行号，并按照指定的列进行分组。最后，我们删除行号大于1的记录，即保留第一条记录，删除重复数据。

需要注意的是，同样需要根据实际情况将 table_name 替换为你所使用的表名，col1, col2 替换为需要判断重复的列。

应用实例

为了更好地理解上述方法，我们将通过一个实例来演示如何删除重复记录。

假设我们有一个存储学生选课信息的表，其中包括学生姓名、课程名称和成绩三个字段。我们的目标是删除重复的选课记录，保留每个学生在每门课程中的最高成绩。

首先，我们创建一个示例表，并插入一些数据。

CREATE TABLE StudentCourses (
StudentName varchar(50),
CourseName varchar(50),
Grade int
);

INSERT INTO StudentCourses (StudentName, CourseName, Grade)
VALUES (\’张三\’, \’数学\’, 85),
(\’张三\’, \’英语\’, 90),
(\’李四\’, \’数学\’, 95),
(\’李四\’, \’英语\’, 80),
(\’王五\’, \’数学\’, 90),
(\’王五\’, \’英语\’, 85);

现在，我们可以使用上述方法之一来删除重复记录。

方法：使用临时表

CREATE TABLE #TempTable (
StudentName varchar(50),
CourseName varchar(50),
Grade int
);

INSERT INTO #TempTable (StudentName, CourseName, Grade)
SELECT StudentName, CourseName, Grade
FROM (
SELECT StudentName, CourseName, Grade,
ROW_NUMBER() OVER(PARTITION BY StudentName, CourseName ORDER BY Grade DESC) AS RowNum
FROM StudentCourses
) AS Temp
WHERE RowNum = 1;

TRUNCATE TABLE StudentCourses;

INSERT INTO StudentCourses (StudentName, CourseName, Grade)
SELECT StudentName, CourseName, Grade
FROM #TempTable;

DROP