Объединение коллекции разделены между несколькими осколками

Question

---

Краткий обзор установки:

5 х SolrCloud (Solr 4.6.1) экземпляры узлов (отдельные машины).
Установка предназначена для хранения последних 48 часов журналов webapp (которые довольно интенсивны ... ~ 3 МБ/с)

Коллекция «журналов» имеет 5 осколков (по одному на каждый экземпляр узла).
Один лаглинь представляет собой один документ «бревнами» коллекции

---

Если я буду хранить документы журнала в этом «бревна» коллекции, ядра на осколки начинают получать действительно большие и графики CPU показывают, что случаи тратить все больше и больше времени ожидая ввода/вывода диска.

Итак, моя идея - создать новую коллекцию каждые 15 минут и назовите ее «logs-201402051400» с осколками, распространяющимися по 5 экземплярам. Авторы документов начнут писать в новую коллекцию сразу после ее создания. В какой-то момент я получить список коллекции так:

...
журналы-201402051400
журналы-201402051415
журналы-201402051430
журналы-201402051445
журналы-201402051500
...

Поскольку в SolrCloud в течение некоторого периода времени будет максимально 192 коллекций (~ 1000 ядер). Похоже, что эффективность поиска должна резко ухудшаться.

Итак, я хотел бы объединить коллекции, которые в настоящее время не записываются в одну большую коллекцию (но все еще окутана в 5 экземпляров). Я нашел информацию о том, как объединить ядра, но как я могу объединить коллекции?

Answer 1

Это не может быть полным ответом на ваш запрос, но что-то говорит мне, что вам нужно переделать дизайн своей коллекции.

Это классическая дискуссия между использованием единой коллекции с несколькими осколками в сравнении с несколькими коллекциями.

Я думаю, что вы должны установить единую коллекцию, а затем использовать динамическую осязание Solr Cloud (неявный маршрутизатор) для добавления новых осколков (для более новых 15-минутных интервалов)/удаления старых осколков (для более старых 15-минутных интервалов).

Управление единой коллекцией означает, что у вас будет единственная конечная точка и избавит вас от сложности запроса нескольких коллекций.

Взгляните на один из ответов на эту ссылку, в котором рассказывается об использовании неявного маршрутизатора для динамического очертания в SolrCloud.

How to add shards dynamically to collection in solr?