Пропуск первичных ключей с копией SQL

Question

Я новичок в разработке баз данных, поэтому, надеюсь, это тривиально.

У меня есть большая коллекция необработанных данных (около 300 миллионов строк) с около 10% реплицированных данных. Мне нужно получить данные в базе данных. Ради производительности я пытаюсь использовать копию SQL. Проблема заключается в том, что когда я фиксирую данные, исключения первичного ключа предотвращают обработку любой из данных. Могу ли я изменить поведение первичных ключей, чтобы конфликтующие данные просто игнорировались или заменялись? Мне все равно, - мне просто нужна уникальная копия каждой из данных.

Спасибо большое.

Answer 1

Я думаю, что лучше всего было бы сбросить ограничение, загрузить данные, затем очистить его и повторно применить ограничение.

Answer 2

Это то, что я собирался делать, но беспокоился о производительности избавления от 30 миллионов случайно расположенных строк в 300-миллионной базе данных ввода. Дублированные данные также имеют пространственные отношения, поэтому я хотел попытаться исправить проблему при загрузке данных, а не после того, как все они загружены.

Answer 3

Используйте инструкцию select, чтобы точно выбрать данные, которые вы хотите вставить, без дубликатов.

использования, что в основе CREATE TABLE XYZ AS SELECT * FROM (запрос-почти-простофиль)

Вы можете проверить ASKTOM идеи о том, как выбрать, не повторяющиеся строки