dstream

2зной

1ответ

Как я могу вернуть два DStreams в функцию после использования преобразования фильтра в искровом потоке?

В функции есть способ вернуть два DStream после использования filter? Например, когда я фильтрую DStream, отфильтрованные будут сохранены в DStream, а нефильтрованные будут сохранены в другом DStream.

0зной

1ответ

Spark: получить несколько DStream из одного DStream

Можно получить несколько DStream из одного DStream в искры. Я использую следующий пример: я получаю поток данных журнала из файла HDFS. Строка журнала содержит идентификатор (id = xyz). Мне нужно обра

1зной

3ответ

Программно создавая dstreams в искры apache

Я пишу некоторые автономные тесты интеграции вокруг Apache Spark Streaming. Я хочу проверить, что мой код может поглощать все виды краевых случаев в моих симулированных тестовых данных. Когда я делал

0зной

2ответ

Apache Спарк Scala API: ReduceByKeyAndWindow в Scala

Как я новичок, чтобы Спарк Scala API У меня есть следующая проблема: В моем Java коде, который я сделал преобразование reduceByKeyAndWindow, но теперь я увидел, что есть только reduceByWindow (так как

5зной

1ответ

Как переносить потоки данных через несколько интервалов пакетной обработки в Spark Streaming

Я использую Apache Spark Streaming 1.6.1 для написания приложения Java, которое объединяет два потока данных Key/Value и записывает вывод в HDFS. Два потока данных содержат строки K/V и периодически п

1зной

1ответ

Кафка directstream dstream карта не печатает

У меня есть этот простой Кафка поток val messages = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder](ssc, kafkaParams, topicsSet) // Each Kafka message is a flight val fl