Как работать с огромным CSV-файлом (3,5 ГБ) с github

Question

У меня есть проект RoR, где я должен заполнить базу данных огромным CSV-файлом 3,5 ГБ.

Я не могу загрузить 3.5 ГБ в github, но я должен использовать его, а также работать с таким огромным файлом - это жесткие тиски памяти.

Как я могу решить эту проблему?

Answer 1

я на самом деле сделать это примерно то, что часто. Есть кое-что, что вам нужно учитывать при попытке сделать что-то вроде этого:

-Поскольку это приложение получает много внешнего трафика пользователя или критического внутреннего трафика пользователя?

-Это бизнес-последствия для этого сервера увязли в этой длительной работе?

-Уверено ли на сервере, на котором размещено это приложение, требуются ли ресурсы (память и пространство на жестком диске) для обработки такой работы?

-У вас есть доступ SCP к серверу хоста для передачи файла на сервер?

Как только вы хорошо понимаете вышеизложенное, вы должны сделать следующее.

1. Написать сценарий импорта CSV (вероятно, кутила задача), не следует использовать рубиновый по умолчанию использовать библиотеки CSV-то тому подобное faster cvs или smarter cvs (они быстрее). Убедитесь, что при написании сценария импорта вы используете функцию перечислителя библиотеки, которая позволит избежать загрузки всей электронной таблицы в память (foreach). Кроме того, поскольку это, вероятно, будет длительная работа, поставьте некоторый выходной поток (например, puts или counter), чтобы у вас было некоторое представление о том, что происходит.

2. Протестируйте сценарий на своем локальном компьютере с помощью реальной таблицы, я не знаю, что такое целостность данных, но в крупноформатной таблице вы можете столкнуться с проблемами кодирования символов. Лучше всего это понять, не имея кучу неудачных прогонов на производстве, загромождающих вашу базу данных.

3. Развертывание код

4. Сжать CSV

5. Передача сжатого CSV в указанный вами каталог

6. распаковка CSV

7. Выполнить импорт сценария

8. Проверьте данные f или признаки успешного импорта, как разница в записях.

9. Удалить CSV

Answer 2

Прежде всего, нет никаких оснований для передачи данных Git. Вы должны использовать migration

Поскольку ваши данные огромны, вы можете просто использовать базу данных напрямую для загрузки ваших данных. Возможно, вам придется убедиться, что CSV правильно отформатирован, но это тривиально.

В зависимости от вашей базы данных вы можете использовать LOAD DATA или COPY см это так вопрос для этого MySQL LOAD DATA INFILE with PostgreSQL COPY FROM command