Перемещение большого набора данных через базы данных django

Question

Каков наилучший способ перемещения большого набора данных из одной базы данных django в другой?

Я хотел бы сделать это на высоком уровне (в django), а не на уровне базы данных. Все существующие инструменты, которые я знаю (dumpdata/loaddata, classizer, django-extensions), хранятся в памяти, поэтому он не обрабатывает большие наборы данных.

Answer 1

Я нашел этот пост очень полезным - Migrating Django from MySQL to PostgreSQL the Easy Way.

Answer 2

У меня была такая же проблема с несколько приложений/баз данных, поэтому написал этот сценарий, который является ответвлением dumpdata Джанго, но сбрасывает данные на куски, чтобы избежать MemoryError

Скрипт доступен на https://github.com/fastinetserver/django-dumpdata-chunks

Пример использование:

1) Дамп данных в множестве файлов:

mkdir some-folder 

./manage.py dumpdata_chunks your-app-name 
--output-folder=./some-folder --max-records-per-chunk=100000 

2) Загрузить данные из папки:

find ./some-folder | egrep -o "([0-9]+_[0-9]+)" | xargs ./manage.py loaddata