spark-streaming

1зной

2ответ

Я новичок Спарк и я бегу мое приложение для чтения данных 14kb из текста подавал, сделать некоторые преобразования и действия (сбор, collectAsMap) и сохранять данные в базу данных Я бегу он локально в

1зной

1ответ

Как контролировать растущую задержку планировщика под Spark 1.6.2?

Я запускаю потоковое задание под Spark 1.6.2, которое принимает партии из очереди. Я пробовал различные размеры памяти и числа исполнителей, например: spark-submit --class "MyStreamingClass" --master

0зной

2ответ

Как получить смещение потребителя Кафки?

Работа с Kafka (v2.11-0.10.1.0) -spark-streaming (v-2.0.1-bin-hadoop2.7). У меня есть Kafka Producer и Spark-streaming потребитель для производства и потребления. Все работает нормально, пока я не ост

1зной

4ответ

Каков наилучший способ перезапуска приложения с искровым потоком?

Я в основном хочу написать обратный вызов события в моей программе драйверов, которая будет перезапускать искровое потоковое приложение по прибытии этого события. Моя программа-драйвер настраивает пот

0зной

1ответ

Ошибка при запуске приложения для ускоренного кинезирования в режиме кластера (Amazon EMR)

У меня возникли серьезные проблемы с попыткой запустить потоковое приложение с искровым кинезитом в кластер EMR Amazon (1 мастер, 3 сотрудника). То, что я пытаюсь достичь, - это создать банку FAT с по

0зной

1ответ

SparkException с использованием JavaStreamingContext.getOrCreate(): В этом JVM может работать только один SparkContext

Связанный с this question, я получил подсказку, чтобы использовать эту идиому getOrCreate, чтобы избежать этих проблем. Но попытка: JavaStreamingContextFactory contextFactory = new JavaStreamingContex

3зной

1ответ

Плохая работа с функцией окна в потоковой работе

Я использую Spark 2.0.2, Kafka 0.10.1 и интеграцию с искрообразованием-кафкой-0-8. Я хочу сделать следующее: Я извлекаю функции в потоковой работе из соединений NetFlow, а не применяю записи к k-образ