apache-spark-1.5

0зной

1ответ

Spark Kafka Receiver не собирает данные со всех разделов

Я создал тему Kafka с 5 разделами. И я использую API-интерфейс приемника createStream, как показано ниже. Но как-то только один приемник получает входные данные. Остальные приемники ничего не обрабаты

2зной

1ответ

Как получить Precision/Recall с помощью CrossValidator для обучения NaiveBayes модели с использованием Спарк

Supossed У меня есть трубопровод, как это: val tokenizer = new Tokenizer().setInputCol("tweet").setOutputCol("words") val hashingTF = new HashingTF().setNumFeatures(1000).setInputCol("words").setOutp

0зной

1ответ

Невозможно использовать файлы из HDFS в Spark

Я загрузил версию Spark-1.6.1. Он уже построен для моей версии 2.6, поэтому мне пришлось только разархивировать ее и никогда не испортить встроенные инструменты. В моем файле core-site.xml я написал <

4зной

2ответ

Время выполнения задания искры

Это может быть очень простой вопрос. Но есть ли простой способ измерить время выполнения искрового задания (представленное с использованием spark-submit)? Это поможет нам профилировать искровые задани

2зной

2ответ

Могу ли я иметь мастера и работника на том же узле?

У меня есть автономный кластер с тремя узлами и на главном узле у меня также есть рабочий. Когда я отправляю приложение в кластер, два других рабочих запускают RUNNING, но рабочий на главном узле оста

3зной

2ответ

Как ограничить десятичные значения до двух цифр перед применением функции agg?

Я следую за this решением от одного из столбцов переполнения стека, мое единственное требование здесь - как я могу ограничить значения, которые я хочу суммировать, до 2-х цифр после десятичного знака

0зной

1ответ

Spark on Hadoop YARN - исполнитель отсутствует

У меня есть кластер из 3 машин macOS, работающих под управлением Hadoop и Spark-1.5.2 (хотя с Spark-2.0.0 такая же проблема существует). С «пряжей» в качестве URL-адреса Spark, я столкнулся с странной