Mongodb DB - Найти документ с данными, не совместимыми с Json

Question

У меня есть коллекция MongodDB с ок. 3M документов. Однако я не могу экспортировать его в JSON, поскольку один или несколько документов имеют несовместимые с json поля. Это хорошо для MongodDB, поскольку документы хранятся как BSON, однако это не работает для моего использования.

Я не ожидал, что мои документы будут содержать данные, не совместимые с JSON. Как найти документы, не содержащие информацию JSON?

Answer 1

Вы можете запустить скрипт с:

Collection.forEach(function(item) { 
 
    try { 
 
    JSON.parse(item); 
 
    } 
 
    catch(err) { 
 
    db.NoJsonObject.save(item);} 
 
    } 
 
});

Answer 2

Вы могли бы искать для инструмента mongoexport.

Вы действительно хотите «исправить» свои данные или просто хотите представить данные так, как вы можете читать с помощью любого старого считывателя JSON?

Вы можете просто сделать один большой файл JSON в качестве выхода с помощью переключателя --jsonArray, но будьте очень осторожны. ваш читатель попытается прочитать все 3 миллиона документов, прежде чем он предоставит вам это внутреннее представление.

Без переключателя вы должны получить только один json-документ в строке, и вы можете сделать что-то подобное, чтобы уменьшить требуемую память.

while (read_line){ 
    load_json(line) 
    //do something with memory 
    free(json) 
} 

https://docs.mongodb.com/manual/reference/program/mongoexport/

mongoexport --db test --collection traffic --out traffic.json 

соответствующие флаги будут выводить файл в строгое представление JSON расходного ничего, что может импортировать JSON.