Какая настройка мне нужна - Хранение/Агрегирование/Отчетность Файлы журналов в облаке

Question

У меня около 1000 сайтов на нескольких кластерах окон. Файлы журнала IIS (текстовые документы) доступны для каждого сайта в заданном месте на сервере. Решение, на что я смотрю, должно быть в состоянии сделать следующее.

1) Вставьте файлы журнала в облако. 2) Прочитайте эти файлы журналов и агрегируйте данные, такие как посещения, просмотры, обращения по URL-адресу и сохраните их в облаке для удобства отчетности. 3) Получите доступ к агрегированным данным третьим сторонам.

Во-первых, я пытаюсь выяснить, какие у меня варианты и какие настройки мне нужны.

Answer 1

У меня такой же случай использования, как и вы. Я использую инструменты NXLog -> Logstash -> Elasticsearch -> Kibana (стек ELK). Я нашел это решение простым в использовании и масштабировании. Мое использование очень связано с масштабом (> 40 000 logs/second) и высокой доступностью (без простоя), и это было отличное решение. Я рассмотрю ваши проблемы в том порядке, в котором вы их подняли:

1. Мы используем NXLog для отправки файлов журнала.

   • Установите NXLog на каждую машину Windows, с которой вы хотите собирать журналы. https://www.loggly.com/docs/logging-from-windows/
   • Настройка NXLog для преобразования журналов IIS в JSON https://www.loggly.com/docs/iis-web-server-logs/

2. NXLog корабли эти журналы в Logstash.

   • Установка и настройка Logstash. Logstash собирает все ваши журналы (вы даже можете отправлять из дополнительных источников, если вы выбираете Logstash) и нормализуете данные. https://www.elastic.co/guide/en/logstash/current/installing-logstash.html
   • Настройте NXLog, чтобы указать на установленную вами Logstash.
   • Установите и настройте поиск по электронной почте. Elasticsearch - это высокомасштабируемая полнотекстовая поисковая система, которая позволяет хранить и анализировать большое количество данных. https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html
   • Настройте Logstash, чтобы указать на то, что Elasticsearch. Вот сообщение в блоге с образцовой конфигурацией. https://blog.sstorie.com/importing-iis-logs-into-elasticsearch-with-logstash/
   • Установите и настройте Kibana для визуализации. https://www.elastic.co/downloads/kibana
   • Использование Kibana для создания и визуализаций агрегированных https://www.elastic.co/blog/kibana-aggregation-execution-order-and-you
3. Каких третьей стороны отчетности решения? Не могли бы вы дать больше информации, и, может быть, я тоже смогу помочь с этим?

Больше ресурсов об использовании стека ELK для лесозаготовительной потребительной случая:

• http://logz.io/learn/complete-guide-elk-stack
• https://www.elastic.co/webinars/introduction-elk-stack

EDIT: Chartio integrates with Elasticsearch. Вы спросили: «Где в процессе я могу агрегировать данные и хранить их, чтобы их можно было легко расходуть, отправив отчет?» Elasticsearch выполняет сбор и хранение данных. Вы сохраняете данные в Elasticsearch, используя стек, который я подробно описал выше, и затем вы можете интегрировать приложение для отчетов, такое как Chartio.