Я пытаюсь импортировать большие объемы данных (поток Twitterа примерно 20-25 твитов в секунду) в RavenDB для тестирования и крупномасштабного тестирования данных. У меня есть некоторый код, который записывает данные достаточно хорошо, но через некоторое время я получаю сообщение об ошибке:с использованием RavenDB для массовых вставок данных
Я не заполнит весь код, но здесь есть суть его:
Open RavenDB Session
Start reading data from Twitter Stream
For each line, parse JSON into known C# object
add item to RavenDB
increment counter
if counter % 25 = 0, save changes to RavenDB.
Я не пробовал, что он предложил, потому что он говорит, чтобы посмотреть на разные способы сделать это. Должен ли я убить свою сессию каждые 200 или около того вставок? Есть ли способ вставить массив объектов с помощью Raven DB? Я делаю это совершенно неправильно?
Можете ли вы показать свой код, где вы «добавляете товар в RavenDB?»? –
Это действительно просто session.store (item) ... Не нужно иметь код рядом с собой, но не делать ничего странного ... Как я уже говорил, когда thecounter получает несколько из 25, я делаю savechanges(). – TiernanO