Указатель 400 миллиардов документов в solr 6.3

Question

Я должен индексировать около 400 миллиардов документов для solr 6.3. Я использую pysolr для анализа данных csv перед индексацией. Как я могу ускорить мою индексацию. Для того, чтобы индексировать документ в Solr, он использовал метод добавления, который следующий синтаксис bydefault

add(self, docs, boost=None, fieldUpdates=None, commit=True, softCommit=False, commitWithin=None, waitFlush=None, waitSearcher=None, overwrite=None, handler='update') 

один базисный вариант, что я должен сделать и совершить softcommit ложь для быстрой индексации. Правильно ли это?

Любые другие варианты перекодирования быстрой индексации?

Answer 1

Посмотрите, можете ли вы совершить в одиночку, это будет очень дорого. Поэтому лучший вариант, чтобы совершить в партии, так что я хотел бы предложить, чтобы сохранить количество переменных

if(count == 10000) 
{ 
perform solr commit operation 
} 

Кроме того, сделать индексирование скрипт многопоточный для Fastly полных эти партии.