spark-streaming

0зной

1ответ

Спарк Streaming textFileStream смотреть вывод RDD.saveAsTextFile

Запуск Спарк 1.6.2 (режим ПРЯЖА) Во-первых, у меня есть некоторый код от этой должности до get filenames within Spark Streaming, так что может быть проблемой, но, надеюсь, нет. В принципе, у меня есть

0зной

1ответ

как искра динамического выделения очищает очередь задача

я могу открыть новую виртуальную машину на лета на основе, что я задаю этот вопрос Я использую искры динамического распределение, когда я использовал spark.dynamicAllocation.minExecutors = 10 на внеза

0зной

1ответ

В Spark Streaming, есть ли способ обнаружить, когда партия закончилась?

Я использую Spark 1.6.0 с Cloudera 5.8.3. У меня есть DStream объект и множество преобразований, определенных на нем, val stream = KafkaUtils.createDirectStream[...](...) val mappedStream = stream.tr

0зной

1ответ

Выполнение трех параллельных заданий Spark Streaming

Я запускаю 3 процесса Spark Streaming одновременно с EMR-кластером Amazon. Проблема состоит в том, что одна из этих Потоковые заданий три Спарк делает обработку на основе toLocalIterator: dstreamdata.

2зной

1ответ

Спарк foreachpartition улучшения связи

Я написал искровой работу, которая делает ниже операций Читает данные из HDFS текстовых файлов. Сделайте отдельный() вызов для фильтрации дубликатов. ли фазы mapToPair и генерировать pairRDD Выполните

1зной

1ответ

Проблема с сохранением RDD как файла JSON, учитывая, что размер каждого RDD никогда не превышает 10 МБ

Я читаю DStream строк JSON от Kafka, используя Spark Streaming. Мне нужно сохранить входные данные на S3 в формате JSON. Так я это делаю, однако, когда количество данных в партии составляет около 5 Мб

1зной

1ответ

Как обрабатывать сообщения в формате avro от Kafka?

Я пытаюсь реализовать ниже команду kafka-console-consumer (хорошо работает & выводит нужные данные json) в виде программы с использованием искровой потоковой передачи. kafka-console-consumer.sh --zook