Есть ли у кого-нибудь опыт работы с данными syslog и машинным обучением или глубоким обучением? Имеются ли данные syslog, достаточно богатые для использования в машинных алгоритмах обучения и получения информации? Если да, то какие идеи можно получить за это? Имеются ли инструменты, доступные в настоящее время, для понимания огромных объемов данных syslog?данные syslog ценные для машинного обучения?
Splunk может сделать это относительно легко, однако часть очистки данных может занять некоторое время. Вам нужно будет завязать Splunk во многом для этого, потому что вы говорите об оперативном интеллекте машинного обучения, которое является gobs данных и систем.
Чтобы ответить на ваш вопрос, да. Я использовал данные syslog для отслеживания аномальных сбоев и обучения с использованием механизма обучения для прогнозирования (и сокращения) количества отключений из-за входа в билет. Чтобы сказать это по-другому, мы использовали машинное обучение для прогнозирования того, сколько людей будет паниковать во время запланированного (и сообщаемого) отключения, поэтому мы могли бы сделать точные наши показатели отчетности.
Я могу сказать, что это ценно, но если вы говорите о прогнозировании алгоритмов проблем с подключением к базам данных или о проблемах приложений, это в лучшем случае фактор. syslog недостаточно плотен, чтобы рассказать вам, что происходит в каждом приложении, запущенном на машине (если вы не классифицируете какой-либо журнал, который вы отправляете в/var/log 'syslog'), журналы приложений должны учитываться при выполнении алгоритмов машинного обучения, просто потому что нет лучшего источника активности для этого приложения. Трюк определяет зависимости этого приложения или услуги.
Splunk - отличный инструмент, и он очень прост в использовании по сравнению с другими для создания ощущений от данных. Я использую его, чтобы постоянно удалять все файлы syslog для проблем с подключением, и это очень просто после ввода данных.