Любые инструменты помогают получать графическое представление для журналов

Question

У нас есть инструмент, в котором будет много журналов, хранящихся в ведре s3. Журналы будут иметь информацию об исправленных материалах .. как от 1000 до 320 (из 1000, 320 удалены). Мы хотим представить важность этого инструмента. Насколько хорошо он исправляет нежелательные вещи.

Есть ли какой-либо инструмент с открытым исходным кодом, который я могу использовать, чтобы получить графическое представление на этом, предоставив входы в виде журналов в ведрах s3.

Любые советы приветствуются. Спасибо

Answer 1

Несмотря на то, что это путь к широким для SO, вот где вы можете начать.

Посмотрите на «стопку» ELK (Elasticsearch+Logstash+Kibana).

Logstash имеет S3 input, которые вы могли бы использовать, чтобы затем отправить журналы Elasticsearch, и вы получите ваши графики из Kinaba

logstash примера-конфигурация (без фильтрации или настроек журналов) может выглядеть следующим образом :

input { 
    s3 { 
     access_key_id => "ACCESS_KEY_ID" 
     bucket => "BUCKET" 
     region => "REGION" 
     secret_access_key => "SECRET_ACESS_KEY" 
     prefix => "/" 
     type => "s3" 
    } 
} 

output { 
    elasticsearch { 
     host => "ELASTICSEARCH_URL" 
    } 
}