Импорт каталога json в mongoDB

Question

У меня есть каталог с несколькими подкаталогами, содержащий в общей сложности около миллиона файлов JSON. Мне нужно импортировать все это в mongoDB. Я предполагаю, что это очень распространенная проблема, но я не могу найти какой-либо учебник о том, как это сделать. Есть ли здесь простое решение?

(Или я должен написать сценарий для итерации по каталогам, читать каждый файл в переменную, а затем вставить содержимое в моей БД?)

Answer 1

Вы в основном на правильном пути.

Перейдите по всему каталогу, прочитайте файлы для создания объекта JSON в коде, а затем просто сохраните свои документы непосредственно в MongoDB.

Посмотрите на this.

Одна большая проблема: MongoDB хранит ваши документы в Коллекциях, при условии, что каждый документ в вашей коллекции имеет одинаковый общий формат/структуру. В основном каждый документ должен иметь большинство, если не все те же свойства, что и другие. В противном случае вам придется использовать что-то другое или сохранить все JSON как свойство инкапсулирующего документа, который вы можете сохранить.

Что-то вроде следующего:

{ 
    '_id': 'YOUR_DOCUMENT_ID', 
    'doc': 'JSON_OR_STRING_OF_YOUR_FILE' 
}