Удалить повторяющиеся строки MySQL

Question

Я пытаюсь удалить повторяющиеся строки из таблицы, но все мои усилия либо приводят к ошибке, либо застревают во время выполнения. Мой стол содержит 16,8 миллиона записей, включая 1,5 миллиона дубликатов. Структура таблицы выглядит следующим образом

-------------------------------------- 
| id | number | city | region | site | 
-------------------------------------- 
| 1 | 12345 | abc | xyz | 321 | 
| 2 | 67890 | def | axc | 167 | 
| 3 | 12345 | abc | xyz | 321 | 
| 4 | 13400 | fff | aaa | 301 | 
-------------------------------------- 

Я пытался использовать некоторые из предложенных подходов в ответах здесь на переполнение стека, но не смог найти решение, которое работало для меня.

DELETE n1 FROM data n1, data n2 WHERE n1.id > n2.id AND n1.number = n2.number 

Не работает, так что я попробовал следующее:

DELETE FROM data where data.number in 
(
    SELECT number from data GROUP BY number HAVING COUNT(*)>1 
) 
LIMIT 1 

Не используется здесь либо, так что я застрял. Приветствуются всевозможные предложения.

РЕШЕНИЕ который работал на меня

Marc-B отмечен пост дубликат stackoverflow.com/a/3312066/1528290 попробовал этот подход, и он работал как шарм. мой запрос был:

alter ignore table data add unique i_number (number) 

Answer 1

Предполагая, что дублирование делается на number колонке. Попробуйте следующее:

DELETE FROM data 
WHERE data.number NOT IN (SELECT * 
        FROM (SELECT MAX(data.id) 
          FROM data n 
         GROUP BY data.number) x) 

Это будет содержать одну запись (которая имеет наибольшее число) и удалить остальные записи в таблице.

EDIT:

Я только что проверил с вашим запросом и он работал для меня:

DELETE n1 FROM foobarred n1, foobarred n2 
WHERE n1.id > n2.id AND n1.number = n2.number; 

SQLFIDDLE DEMO

Я думаю, вы должны следовать комментарий Дрю: на MySQL Workbench у вас есть для закрытия базы данных, перейдите в раздел «Редактировать/Настройки/Редактор SQL» и «@ снизу». «Безопасные обновления» снова подключится к серверу, выберите «db» и выпустите его поверх пасти

Marc-B отметил сообщение как дубликат stackoverflow.com/a/3312066/1528290, пробовал этот подход, и он работал как шарм. мой запрос был:

alter ignore table data add unique i_number (number)