Amazon Kinesis Firehose Buffering to S3

Я пытаюсь оценить потоковое данные/аналитическое приложение, развернутое в AWS, и глядя на использование Kinesis Firehose для сбрасывания данных в S3.Amazon Kinesis Firehose Buffering to S3

Мой вопрос в том, что при определении цены S3 для этого мне нужно выяснить, сколько PUT мне понадобится.

Итак, я знаю, что Firehose буферизует данные, а затем сбрасывается на S3, однако я не понимаю, будет ли он писать один «файл» со всеми записями, накопленными до этой точки, или если он будет писать каждая запись индивидуально.

Итак, если я задал размер буфера/интервал оптимальной суммы на основе размера записей, число S3 PUT по-прежнему равно числу записей или количеству флешей, которые выполняет Firehose?

источник

2015-11-03 Brooks

Начитавшись значительное количество AWS документации, я почтительно не согласен с утверждением, что S3 не будет взимать плату.

Вам будет выставлен счет отдельно за расходы, связанные с Amazon S3 и использования Redshift Amazon включая хранение и чтение/запись запросов. Однако вам не будет выставлен счет за плату за передачу данных за данные, которые Amazon Kinesis Firehose загружает в Amazon S3 и Amazon Redshift. Более подробную информацию см. В разделе цены Amazon S3 и цены на Amazon Redshift. [Курсив мой]

https://aws.amazon.com/kinesis/firehose/pricing/

То, что они говорят, что вы не будете платить ничего, дополнительного по Kinesis шланговой для передачи, кроме $ 0,035/GB, но вы будете платить за взаимодействия с вашим ведром. (Данные, поступающие в ведро, всегда свободны от фактических платежей за гигабайт передачи).

В конечном счете, однако, вы кажетесь контроля грубого числа PUT запросов к вашему ведру, на основании некоторых настраиваемых параметров:

Q: Что такого размер буфера и интервал буфера?

Amazon Kinesis Firehose буферизует входящие потоковые данные в определенный размер или в течение определенного периода времени, прежде чем доставлять их в пункты назначения. Вы можете настроить размер буфера и интервал буфера при создании потока доставки. Размер буфера в MB и от 1MB до 128MB.Интервал буфера находится в секундах и составляет от 60 секунд до 900 секунд.

https://aws.amazon.com/kinesis/firehose/faqs/#creating-delivery-streams

Если это не сбор и агрегирование записи в большие файлы, я не вижу, почему бы точка размера буфера и буфера интервал ... однако, без стрельбы до сервис и взяв его за спину, я могу (к сожалению) только реально спекулировать.

источник

2015-11-03 21:59:49

Ну, это было бы не в первый раз, когда Кинезис сделал (или не сделал) что-то, когда я ожидал полной противоположности, но я бы согласился ... если он не агрегирует записи , какой смысл? Я надеюсь, что кто-то может подтвердить это, хотя ... – Brooks

Просто чтобы ответить на этот ответ, я получил ответ от AWS на форумах. https://forums.aws.amazon.com/thread.jspa?threadID=219275&tstart=0. Вы правы, firehose будет писать консолидированные куски на S3, чтобы мы могли контролировать количество PUT, однако для интерпретации заявления он фактически говорит, что никаких платежей TRANSFER (т. Е. Между регионами и т. Д.) Не будет. Не ссылаясь на сервисные расходы, такие как PUT. Благодаря! – Brooks

Я не верю, что вы платите ничего за операцию записи на S3 от Firehose.

Вам будет выставлен счет отдельно за расходы, связанные с Amazon S3 и Amazon использования Redshift включая хранение и запросы на чтение/запись. Тем не менее, вы не будете оплачивать плату за передачу данных за данные , что Amazon Kinesis Firehose загружается в Amazon S3 и Amazon Redshift. Для получения дополнительной информации см. Цены Amazon S3 и Amazon Redshift .

https://aws.amazon.com/kinesis/firehose/pricing/

источник

2015-11-03 17:29:57

Да, я знаю о бесплатной передаче из Firehose, однако я предполагаю, что это просто говорит, что Firehose не будет взимать плату за передачу данных и ничего не говорит о затратах S3 для каждого PUT (который, как я предполагаю, что Firehose использует для записи данных на S3). S3 на 1000 PUT, и я пытаюсь выяснить, равен ли каждый поток от Firehose 1 PUT или если количество PUT равно количеству отдельных записей, независимо от того, объединены ли они в отдельные флеши из Firehose или нет. – Brooks

Я думаю, вы могли бы интерпретировать это по-другому, но моя интерпретация заключается в том, что нет никаких затрат на получение данных от firehose до s3. Только затраты на то, чтобы проглотить его до пожара, а затем стоимость хранится в s3 (а затем любые пошлины/получить сборы, если вы читаете/записываете данные в s3). –

Я понимаю вашу точку зрения ... Честно говоря, я могу читать ее в обоих направлениях. Не знаю, что правильно, но за 1,5 миллиарда отдельных записей в месяц (что не является огромной суммой), если S3 зарядил PUT для каждой отдельной записи, это составит около 7000 долларов США каждый месяц JUST для PUT. Это казалось бы чрезмерным ... – Brooks

ответ

Смежные вопросы