apache-spark-2.0

0зной

1ответ

Apache Spark не играет хорошо с впрыском зависимостей Джерси

Я пытаюсь использовать библиотеку com.github.sps.metrics.metrics-opentsdb для регистрации показателей из моей искровой задачи на моем сервере OpenTSDB. Я сталкиваюсь с проблемой, когда я получаю стран

1зной

3ответ

Prebuilt Spark 2.1.0 создает папку metastore_db и derby.log при запуске искровой оболочки

Я только что обновился от Spark 2.0.2 до Spark 2.1.0 (загрузив предварительно построенную версию для Hadoop 2.7 &). No Hive не установлен. После запуска искровой оболочки в месте запуска создаются пап

1зной

4ответ

Каков наилучший способ перезапуска приложения с искровым потоком?

Я в основном хочу написать обратный вызов события в моей программе драйверов, которая будет перезапускать искровое потоковое приложение по прибытии этого события. Моя программа-драйвер настраивает пот

0зной

1ответ

Spark 2.0 set jars

Я обновляю до версии 2.0 от 1.6 в приложении play-scala и не совсем уверен, как установить файлы jar, которые я хочу. Ранее был определен SparkConf, и одним из методов, который я мог бы назвать, был s

0зной

1ответ

Ошибка Spark 2.0 CSV

Я обновляю до искры 2 от 1.6 и у меня проблема с чтением в CSV-файлах. В искрах 1.6 у меня было бы что-то подобное, чтобы читать в CSV-файле. val df = sqlContext.read.format("com.databricks.spark.csv"

1зной

1ответ

В Спарке 2.0, JDBC dataframes схема применяется автоматически, как обнуляемые = ложь

Для JDBC dataframes если указать пользовательский запрос, как (select * from table1 where col4 > 10.0) AS table1 тогда схема для всех столбцов оказывается обнуляемыми = ложь col1: string (nullable =

4зной

2ответ

Как нарисовать WrappedArray [WrappedArray [Float]] в Array [Array [Float]] в искро (scala)

Im using Spark 2.0. У меня есть столбец моей файловой рамки, содержащий WrappedArray из WrappedArrays of Float. Пример строки будет: [[1.0 2.0 2.0][6.0 5.0 2.0][4.0 2.0 3.0]] Im пытается преобразова

4зной

2ответ

Спарк не запускается в локальном режиме при отключении [Возможная ошибка при работе с IPv6 в Спарк ??]

Проблема такая же, как описано здесь Error when starting spark-shell local on Mac ... но мне не удалось найти решение. Я также использовал для получения ошибочной ошибки URI, но теперь я получаю ожида

0зной

1ответ

искрового Java многопоточности против запуска отдельных искровых рабочих мест

Я новый с искрой и пытаясь понять разницу в производительности в ниже подходах (Спарк на Hadoop) Сценария: В соответствии с пакетной обработкой У меня есть 50 ульев запросов к run.Some может работать

0зной

1ответ

Как разрешить None значение приниматься в dataframe в Spark 2?

У меня есть что-то вроде схемы - val schema = StructType(Seq ( StructField("a", StringType, true), StructField("b", StringType, true), StructField("c", StringType, true) )) and making a dataframe