Что такое использование «spark.streaming.blockInterval» в Спарк Streaming DirectAPI

Question

Я хочу, чтобы понять, какую роль играет в "spark.streaming.blockInterval" Спарк Streaming DirectAPI, согласно моему пониманию "spark.streaming.blockInterval" используется для расчета разделов т.е. #partitions = (receivers x* batchInterval) /blockInterval, но в DirectAPI искры потокового разделов равно no. кафкинских перегородок.

Как "spark.streaming.blockInterval" используется в DirectAPI?

Answer 1

spark.streaming.blockInterval:

интервал, при котором данные, полученные с помощью искры Потоковое приемников разбит на блоки данных перед хранением их в Спарк.

И KafkaUtils.createDirectStream() не используют приемник.

С directStream Спарк Streaming будет создавать столько разделов РДД как есть Кафка перегородки потреблять