dstream

1зной

3ответ

слить искру dStream с переменной для сохраненияToCassandra()

У меня есть DStream[String, Int] с парами подсчетов слов, например. ("hello" -> 10). Я хочу написать эти подсчеты в cassandra с указателем шага. Индекс инициализируется как var step = 1 и увеличиваетс

0зной

1ответ

Pyspark - управления раздаточной из искрового сессии (СБН)

Это является продолжением вопрос о Pyspark filter operation on Dstream Чтобы сохранить счетчик, сколько сообщений об ошибках/предупреждения пришел через для скажем в день, час - как вы проектируете ра

2зной

3ответ

Удаляет ли RDD DStream целые данные, созданные для пакетного интервала одним выстрелом?

Я прошел через this вопрос stackoverflow, в соответствии с ответом он создает DStream только с одним RDD за пакетный интервал. Например: Моя партия интервал 1 минута и Спарк Streaming работа отнимает

2зной

1ответ

Преобразованный DStream в pyspark дает ошибку при вызове pprint

Я изучаю Spark Streaming через PySpark и получаю ошибку при попытке использовать функцию transform с take. Я могу с успехом использовать sortBy против DStream через transform и pprint результат. autho

1зной

1ответ

Spark streaming уменьшить на несколько ключевых Java

Я довольно новичок в Spark Streaming, и я застреваю, пытаясь понять, как справиться с этой проблемой, так как я нашел много примеров для одиночных (K, V) пар, но что-то еще. Я был бы признателен за не

2зной

1ответ

Как использовать извлечение функции с помощью DStream в Apache Spark

У меня есть данные, которые поступают из Kafka через DStream. Я хочу выполнить извлечение функции, чтобы получить некоторые ключевые слова. Я не хочу ждать прибытия всех данных (поскольку он предназна