Мониторинг журналов Amazon S3 с Splunk?

Question

У нас есть большая расширенная сеть пользователей, которую мы отслеживаем с помощью значков. Общий трафик составляет около 60 миллионов показов в месяц. В настоящее время мы рассматриваем возможность перехода от довольно медленного, основанного на базе данных решения для ведения журнала (настраиваемого на PHP-messy ...) к простой базе данных, основанной на использовании журналов Amazon S3 и Splunk.

После использования Splunk для некоторых других задач анализа, мне это очень нравится. Но непонятно, как настроить источник, такой как S3, с системой. Похоже, что для удаленных источников требуется универсальный форвардер, который не является вариантом.

Любые идеи по этому вопросу?

Answer 1

Очень поздний ответ, но я искал то же самое и нашел приложение Splunk, которое делает то, что вы хотите, http://apps.splunk.com/app/1137/. Я еще не пробовал.

Answer 2

Я бы предложил зарегистрировать предварительно обработанные данные j-son в базе данных documentdb. Например, используя лазурные очереди или похожие технологии обмена сообщениями служебной шины, которые соответствуют вашему сценарию в сочетании с azure documentdb. Итак, я буду поддерживать подход на базе базы данных и модифицировать его, чтобы быть простой в масштабировании базы данных на основе документов.

Answer 3

Я использую http://www.insight4storage.com/ с сайта AWS Marketplace для отслеживания итогов использования AWS S3 по префиксу, ковшу или классу хранения с течением времени; плюс он показывает мне предыдущее хранилище версий с помощью префикса и на каждый ковш. У него есть параметр для сохранения данных S3 в виде журналов формата splunk, которые могут работать для вашего прецедента, в дополнение к его интерфейсу пользовательского интерфейса и веб-сервису API.