Spark Streaming - вызов REST API vs Building Functionality Исходно для Spark Streaming

Question

У нас есть определенная функциональность для управления данными таймсеристов. Функциональность уже предлагается как REST API и работает на Cloudfoundry. Мы хотим предложить поддержку для сбора данных таймсерий с использованием Spark Streaming и kafka, чтобы решение было более масштабируемым и надежным. Каковы недостатки вызова REST API из искрового потока, чтобы встроить функциональность изначально в искру.

Answer 1

Я бы сказал, что если ваш REST API может поддерживать пропускную способность Spark Streaming, API REST может напрямую поддерживать пропускную способность. В этом случае на самом деле вам не требуется Spark Streaming. Если вам нужен буфер для неожиданных всплесков, есть более простые способы достижения этого, чем Spark Streaming.

Чтобы обратиться к вашему вопросу более подробно, вызов API REST добавляет латентность и дополнительный случай сбоя в конвейер Spark Streaming. Реализация вашей логики в Spark Streaming напрямую добавляет сложность кода и возможное дублирование. И оба варианта добавляют операционную сложность.