Я делаю mongoimport с типом csv и не могу найти способ игнорировать прокомментированные строки. Мой csv прокомментировал строки, помеченные знаком «#» в качестве стартового символа. В основном, я вызываю MongoDB через приложение node.js. Нельзя игнорировать их? Может ли кто-нибудь предложить, есть ли опция?mongoimport csv игнорировать прокомментированные строки
CSV (Comma Separated Values) формат намеренно простой и не поддерживает комментарии. Перед тем, как пройти до mongoimport, вам придется предварительно фильтровать свои прокомментированные строки.
mongoimport предназначен для использования в командной строке, но вы упомянули, что разговариваете с MongoDB из приложения Node.js.
Вместо того, чтобы ссылаться на mongoimport, я бы рекомендовал использовать node.js csv module. Затем вы можете легко сделать свою собственную фильтрацию на основе строк для комментариев или других отклонений формата и вставить непосредственно с помощью MongoDB driver.
спасибо за подтверждение того, что mongoimport-csv не поддерживает фильтрацию комментариев; В модуле node.js csv я сначала попытался использовать это, но обнаружил серьезные проблемы с производительностью, так как мне пришлось импортировать около 75000 строк из csv; Я использовал load-mongo-native для загрузки; затем переключился на mongoimport через node.js; – user1549605
Существует несколько различных [CSV-модулей node.js] (https://nodejsmodules.org/tags/csv). Быстрый поиск не выявил каких-либо очевидных критериев/сравнений, но [Fast-csv] (http://c2fo.github.com/fast-csv/) выглядит интересным .. отрывает некоторые функции, такие как многострочные строки для скорость. – Stennie
спасибо Stennie, я попробую Fast-csv, следующий. Между тем, я переместил мой nodejs codebase и mongodb server env (оба на том же сервере); Но результаты не так радужны, как показано ниже. Это проблема с задержкой в сети, которая не может быть решена? Конфигурация: RAM-8GB; csvdata-75000 rows = 9.12MB; Сервер-сервер Windows 2008; MongoDB подключения принято Время: - браузера клиент локальный - 75000 строк - мгновенное клиент браузера удаленная - 15 строк - мгновенное клиент браузера удаленный - 10000 строк - 6 сек клиент браузера удаленный - 20000 строк - 18 сек браузера клиент удаленного - 75000 строк - 75 с – user1549605
Может ли кто-нибудь помочь мне с тем, чтобы игнорировать прокомментированные строки при выполнении mongoimport? – user1549605