dstream

1зной

1ответ

Как объединить два Dstreams с помощью Pyspark (похожий на .zip на нормальном РДУ)

Я знаю, что мы можем объединить (например, cbind в R) два РДУ, как показано ниже в pyspark: rdd3 = rdd1.zip(rdd2) Я хочу, чтобы выполнить то же для двух потоков в pyspark. Возможно ли это или какие-

0зной

1ответ

Вычисление производного значения в Spark Streaming

У меня есть две пары ключевых значений типа org.apache.spark.streaming.dstream.DStream [Int]. Первая пара значений ключа (слово, частота). Вторая пара значений ключа (количество строк, значение). Я хо

0зной

2ответ

Чтение данных из HBase через Спарк Потоковое

Так что мой поток проекта Кафка -> Спарк Streaming -> Hbase Теперь я хочу, чтобы читать данные снова из HBase, которые будут идти по таблице, созданной в предыдущей работе и сделать некоторые агрегаци

0зной

1ответ

Как выполнить zip между двумя DStreams в Scala?

У меня есть два оконных потока, которые я хотел бы заархивировать, как обычная застежка в RDD. Примечание: Основная цель состоит в вычислении среднего значения и stdv окна dstream в случае, если есть

3зной

1ответ

Сортировка DStream и принимая TopN

У меня есть некоторые DStream в Спарк Scala, и я хочу, чтобы отсортировать его затем взять верхнюю Н. Проблема заключается в том, что всякий раз, когда я пытаюсь запустить его я получаю NotSerializabl