Выход кластера Logstash в кластер Elasticseach без многоадресной рассылки

Question

Я хочу запустить logstash -> elasticsearch с высокой доступностью и не могу найти простой способ его достижения. Пожалуйста, ознакомьтесь, как я это вижу и поправьте меня:

Цель:

• 5 машин каждый работает elasticsearch объединены в единый кластер.
• 5 машин, каждый из которых запускает сервер статистики и потоковые данные в кластер elasticsearch.
• N компьютеров под наблюдением каждого работающего дровосека и потоковой передачи данных на серверы логсташа.

Constraint:

• Предполагается запустить на PaaS (CoreOS/Докер) так много литья открытие не работает.

Решение:

• Дровосек позволяет задать список logstash серверов пересылать данные. Lumberjack будет случайным образом выбирать целевой сервер и переключиться на другой, если этот сервер опустится. Оно работает.
• Я могу использовать плагин обнаружения zookeeper для создания кластера elasticsearch. Оно работает.
• С несколькими кастами каждый сервер logstash обнаруживает и объединяет кластер elasticsearch. Без многоадресной рассылки я могу указать единственный узел поиска elasticsearch. Но это не высокая доступность. Я хочу вывести на кластер, а не на один хост, который может спуститься.

Вопрос:

• Реалистично добавить открытие плагин для зоопарка logstash-х встроенных elasticsearch? Как?
• Есть ли более легкое (естественное) решение этой проблемы?

Спасибо!

Answer 1

Возможно, вы можете запустить отдельный (не встроенный) экземпляр Elasticsearch в контейнере Logstash, но настройте Elasticsearch не на хранение данных, возможно, установите их как главные узлы.

node.data: false 
node.master: true 

Затем вы можете добавить плагин Zookeeper ко всем экземплярам Elasticsearch, чтобы они образовали кластер.

Logstash затем регистрируется через http к локальному Elasticsearch, который работает там, где в 5 хранилищах данных фактически индексируются данные.

В качестве альтернативы это Q объясняет, как получить плагин, работающие с встроенной версией Elasticsearch Logstash output to Elasticsearch on AWS EC2