Amazon Kinesis Firehose в качестве облачного журнала logs

Question

Мое требование состоит в сборе журналов потока VPC от AWS. Я создал журнал потока VPC и связал его с облачной коллекцией журналов «Группа журнала потока». От подписки на журнал CloudWatch я подумал о подписке на AWS Kinesis firehose, но в списке подписки я не смог найти «Kinesis Firehose», только «Lambda» и «ElasticSearch Service». Не могли бы вы помочь мне в этом.

Не можем ли мы подписаться на журналы CloudWatch с использованием AWS Kinesis firehose.

Answer 1

A Firehose arn является допустимым местом для подписки на CloudWatch Logs, но невозможно установить его с помощью консоли, только с API или CloudFormation.

Большинство примеров, которые я нашел, используют параметр LogGroup консоли «Stream to AWS Lambda» для подачи AWS Lambda, который отправляется в Amazon Kinesis Firehose, например, в How to Visualize and Refine Your Network’s Security by Adding Security Group IDs to Your VPC Flow Logs.

Using CloudWatch Logs Subscription Filters chapter of the Amazon CloudWatch Logs User Guide имеет Firehose Example (Example 3), который может быть лучше подходит для вашего использования.

По существу, путь Amazon CloudWatch LogGroup SubscriptionFilter -> Amazon Kinesis Firehose Delivery Stream -> Amazon S3 Bucket and Prefix

Интересный факт: данные Amazon CloudWatch Бревна уже с gzip'нутыми при доставке шланговой.