spark-streaming

0зной

1ответ

Как применить сопоставление образцов по имени файла с помощью spark (scala)

Я отслеживаю каталог в hdfs, и если файл помещен в него, я хочу получить имя файла, входящего в каталог, и применить сопоставление шаблонов так, чтобы сортировать их на основе имен до сих пор я был в

0зной

1ответ

Как настроить пряжу, чтобы использовать все вложения?

Мы работает искра потокового задания с использованием пряжи в качестве менеджера кластера, я посвятил 7 ядер на узле каждому узлу ... с помощью нити-site.xml, как показано на рис ниже когда это работа

0зной

1ответ

Прочитайте новые пути файла s3 от искрового потока

Я бы хотел использовать искрообразование для мониторинга каталога s3 и возврата пути к любым новым файлам, которые добавлены в этот каталог. Ни textFileStream, ни fileStream, похоже, не могут этого сд

0зной

1ответ

Спарк Direct Streaming - потреблять такое же сообщение в нескольких потребителей

Как потреблять Kakfa topic messages в нескольких потребителей с помощью Direct Stream approach? Возможно ли это? Поскольку подход Direct Stream не имеет концепции Consumer Group. Что происходит, если

0зной

1ответ

Кафка Спарк поток бросает исключение: Нет текущее назначение для раздела

Ниже не мой Scala код для создания искры Кафка поток: val kafkaParams = Map[String, Object]( "bootstrap.servers" -> "server110:2181,server110:9092", "zookeeper" -> "server110:2181", "key.deserialize

1зной

1ответ

не может потреблять сообщение kafka через искровой поток

Я пытаюсь поглотить сообщение от производителя кафки через программу искрообразования. Вот моя программа val Array(zkQuorum, group, topics, numThreads) = args val sparkConf = new SparkConf().set

0зной

1ответ

Pyspark - управления раздаточной из искрового сессии (СБН)

Это является продолжением вопрос о Pyspark filter operation on Dstream Чтобы сохранить счетчик, сколько сообщений об ошибках/предупреждения пришел через для скажем в день, час - как вы проектируете ра