如何查詢和刪除MySQL中重復(fù)的記錄？

最近，有小伙伴出去面試，面試官問了這樣的一個問題：如何查詢和刪除MySQL中重復(fù)的記錄？相信對于這樣一個問題，有不少小伙伴會一臉茫然。那么，我們?nèi)绾蝸硗昝赖幕卮疬@個問題呢？今天，我們就一起來探討下這個經(jīng)典的MySQL面試題。

問題分析

對于標(biāo)題中的問題，有兩種理解。第一種理解為將標(biāo)題的問題拆分為兩個問題，分別為：如何查詢MySQL中的重復(fù)記錄？如何刪除MySQL中的重復(fù)記錄？另一種理解為：如何查詢并刪除MySQL中的重復(fù)記錄？

沒關(guān)系，不管怎么理解，我們今天都要搞定它！！

為了小伙伴們更好的理解如何在實際工作中解決遇到的類似問題。這里，我就不簡單的回答標(biāo)題的問題了，而是以SQL語句來實現(xiàn)各種場景下，查詢和刪除MySQL數(shù)據(jù)庫中的重復(fù)記錄。

問題解決

查找重復(fù)記錄

1、查找全部重復(fù)記錄

select?*?from?表?where?重復(fù)字段?in?(select?重復(fù)字段?from?表?group?by?重復(fù)字段?having?count(*)>1)

2、過濾重復(fù)記錄(只顯示一條)

select?*?from?HZT?Where?ID?In?(select?max(ID)?from?HZT?group?by?Title)

注：此處顯示ID最大一條記錄。

刪除重復(fù)記錄

1、刪除全部重復(fù)記錄（慎用）

delete?表?where?重復(fù)字段?in?(select?重復(fù)字段?from?表?group?by?重復(fù)字段?having?count(*)>1)

2、保留一條（這個應(yīng)該是大多數(shù)人所需要的 ^_^）

delete?HZT?where?ID?not?In?(select?max(ID)?from?HZT?group?by?Title)

注：此處保留ID最大一條記錄。

三、舉例

1、查找表中多余的重復(fù)記錄，重復(fù)記錄是根據(jù)單個字段（peopleId）來判斷

select?*?from?people?where?peopleId?in?(select?peopleId?from?people?group?by?peopleId?having?count(peopleId)?>?1)

2、刪除表中多余的重復(fù)記錄，重復(fù)記錄是根據(jù)單個字段（peopleId）來判斷，只留有rowid最小的記錄

delete?from?people?where?peopleId?in?(select?peopleId?from?people?group?by?peopleId?having?count(peopleId)?>?1)?and?rowid?not?in?(select?min(rowid)?from?people?group?by?peopleId?having?count(peopleId?)>1)

3、查找表中多余的重復(fù)記錄（多個字段）

select?*?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)

4、刪除表中多余的重復(fù)記錄（多個字段），只留有rowid最小的記錄

delete?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)?and?rowid?not?in?(select?min(rowid)?from?vitae?group?by?peopleId,seq?having?count(*)>1)

5、查找表中多余的重復(fù)記錄（多個字段），不包含rowid最小的記錄

select?*?from?vitae?a?where?(a.peopleId,a.seq)?in?(select?peopleId,seq?from?vitae?group?by?peopleId,seq?having?count(*)?>?1)?and?rowid?not?in?(select?min(rowid)?from?vitae?group?by?peopleId,seq?having?count(*)>1)

四、補充

有兩個以上的重復(fù)記錄，一是完全重復(fù)的記錄，也即所有字段均重復(fù)的記錄，二是部分關(guān)鍵字段重復(fù)的記錄，比如Name字段重復(fù)，而其他字段不一定重復(fù)或都重復(fù)可以忽略。

1、對于第一種重復(fù)，比較容易解決，使用

select?distinct?*?from?tableName

就可以得到無重復(fù)記錄的結(jié)果集。

如果該表需要刪除重復(fù)的記錄（重復(fù)記錄保留1條），可以按以下方法刪除

select?distinct?*?into?#Tmp?from?tableName
drop?table?tableName
select?*?into?tableName?from?#Tmp
drop?table?#Tmp

發(fā)生這種重復(fù)的原因是表設(shè)計不周產(chǎn)生的，增加唯一索引列即可解決。

2、這類重復(fù)問題通常要求保留重復(fù)記錄中的第一條記錄，操作方法如下 。

假設(shè)有重復(fù)的字段為Name,Address，要求得到這兩個字段唯一的結(jié)果集

select?identity(int,1,1)?as?autoID,?*?into?#Tmp?from?tableName
select?min(autoID)?as?autoID?into?#Tmp2?from?#Tmp?group?by?Name,autoID
select?*?from?#Tmp?where?autoID?in(select?autoID?from?#tmp2)