Использование сельдерея в качестве простой альтернативы для Logstash

Question

Я разрабатываю веб-приложение с Django + Celery, и я хочу добавить простой стек, который позволяет мне отслеживать события и получать статистику. Моя первая мысль была Elasticsearch + Kibana, но я не хочу усложнять мое развертывание (я уже использую AWS Elasticsearch). Поэтому мне было интересно, почему мне нужно что-то вроде Logstash, когда я могу отправлять свои события непосредственно в Elasticsearch (на фоне сельдерея).

Если я, например, должен установить Redis или RabbitMQ для отправки сообщений в Logstash, чтобы он мог отправляться на Elasticsearch, я мог бы сделать то же самое с Celery, который у меня уже запущен.

Мой план заключается в вызове задачи Celery из Django с массивом событий, которые будут отправлены в Elasticsearch. Я использую AWS SQS для связи с сельдереем.

Я понимаю, что с помощью Logstash я могу объединить разные источники, но это не моя проблема прямо сейчас. Фактически, я уже использую AWS CloudWatch для централизации журналов, которые могут выполнять ту же работу, что и Logstash, но проще отправлять события JSON в Elasticsearch напрямую.

Конечно, я чего-то не упускаю, потому что я не нашел никого, кто использовал бы такой сельдерей. Но я хотел бы знать причину.

В настоящее время мой веб-сайт очень мал, и я должен сосредоточиться в других областях, прежде чем усложнять мое развертывание настолько, если это не обязательно.

Answer 1

В зависимости от вашего источника сообщения у вас нет , у вас есть, чтобы настроить брокера как redis или rabbitmq для использования logstash. Например, Filebeat -> Logstash -> Elasticsearch работает хорошо без брокера.

Если у вас есть чистые события json, запись их непосредственно в Elasticsearch - прекрасная идея. Власть logstash принимает неструктурированные данные и делает из нее приятные структурированные события.

Если сельдерей может отправлять ваши события, это звучит как прекрасное решение, если вам не нужно то, что предлагает логсташ.