Nginx Access Log To Kinesis

Question

Я ищу масштабируемое решение. Nginx будет передавать пиксель (1x1 gif) с строкой запроса на страницу html. Эта строка запроса будет находиться в журналах доступа nginx. Мне нужно передать или отправить эти данные в Amazon kinesis, чтобы потом обработать его. Я кое-что прочитал о Logstash, Fluentd, Ect. Кто-нибудь это делает? Что рекомендуется, чтобы включить журнал доступа в события, которые затем могут быть обработаны?

Благодаря Brian

Answer 1

Это, безусловно, возможно с Fluentd. Amazon опубликовала собственный плагин для AWS Kinesis. У Fluentd есть функция, чтобы загнать журналы nginx. Проверьте URL-адреса ниже.

• http://docs.fluentd.org/articles/kinesis-stream
• http://docs.fluentd.org/articles/in_tail
• https://github.com/awslabs/aws-fluent-plugin-kinesis