Система распределенного журнала

Question

Мне нужно хранить журналы в распределенной файловой системе.

Предположим, что у меня есть много типов журналов. Каждый тип журнала записывается в файл. Но этот файл может быть огромным, поэтому он должен быть распределен по многим узлам (с репликацией для долговечности данных).

Эти файлы должны поддерживать операции append/get.

Есть ли распределенная система, которая достигает моих потребностей?

Спасибо!

Answer 1

Объедините NAS с базой данных без sql, как MongoDB, и вы будете иметь распределенный, большой и отказоустойчивый.

Конечно, без особых деталей, например, сколько данных, структуры журналов (или их отсутствия) и т. Д., Действительно сложно рекомендовать настоящий продукт.

Например, если «огромный» вы действительно имеете значение 2 ТБ или меньше, а данные имеют высокую степень структурирования, то обычный SQL-сервер в 2-х кластерной среде с несколькими компьютерами будет работать нормально.

Однако, если под «огромным» вы подразумеваете уровень экзабайта или больше и/или неструктурированные данные, тогда необходимы несколько больших (и очень дорогих) NAS-устройств. На котором выполняется набор не-SQL база данных, сгруппированные для FaiL/над и/или мульти-мастером отношений ...

Answer 2

Я бы рекомендовал Flume, бревенчатые тяговые инфраструктуры от людей в Cloudera:

http://github.com/cloudera/flume

Вы также можете попробовать Scribe из Facebook:

http://github.com/facebook/scribe

Answer 3

Вы можете использовать Logstash собирать журналы и централизовать их с Elasticsearch кластер. Локальные журналы могут собирать файлы журналов, чтобы они оставались маленькими. Далее вы можете использовать Graylog2 для анализа и просмотра журналов.