apache-spark

1зной

1ответ

Как сделать больше настроек zeppelin ноутбука?

Я использую песочницу Hortonworks под версией 2.5. Служба zeppelin работает успешно, когда я создаю ноутбук zeppelin с образцами данных в CSV-файле, например; список данных, доступных ниже; +---------

1зной

2ответ

Spark Job для вставки данных в Cassandra

Я пытаюсь записать данные в таблицы Cassandra, используя Spark на Scala. Иногда задача искры прерывается между ними и есть частичная запись. Отскакивает ли Spark частичная запись при первом запуске но

2зной

3ответ

Улей на искры: Отсутствует <искрообразование * .jar>

Я запускаю Hive 2.1.1, Spark 2.1.0 и Hadoop 2.7.3. Я пытался построить Спарк после Hive on Spark: Getting Started: ./dev/make-distribution.sh --name "hadoop2-без улей" --tgz «-Pyarn, Hadoop, предостав

3зной

1ответ

Dataframe groupBy, получить значение соответствующих строк, основанное на результате агрегатной функции

У меня есть dataframe с столбцом по имени c1, c2, c3, c4. Я хочу, чтобы сгруппировать его на колонке и использовать функцию AGG на другой колонке, например, мин/макс/AGG .. и т.д., и получить соответс

1зной

1ответ

Как выполнить некоторые операции с набором данных Spark, не влияя на структуру данных?

Я использую API-интерфейсы API для удаления дубликатов. То, что я пытаюсь сделать, это группировать дублированные строки, чтобы оставить только одну строку из каждой группы, но с столбцом, определяющи

1зной

1ответ

Spark + Scala: NaiveBayes.train - exception is java.util.NoSuchElementException: next on empty iterator

Я пытаюсь провести анализ настроений с помощью твитов с Spark MLlib. После предварительной обработки данных и преобразования ее в соответствующий формат, я вызываю метод поезда NoviveBayes для получен

0зной

1ответ

Dataframe GroupBy агрегируется в столбце, который содержит шаблон

У меня есть dataframe, с столбцом c1, c2. Я хочу, чтобы сгруппировать их по c1 и хочу выбрать с2, что значение c2 содержит шаблон, если все c2 не содержат шаблон возвращать никому примера ДФ: c1 c2 1

0зной

1ответ

использование искра SQL UDF в dataframe API

Как я могу использовать UDF, который отлично работает в искре, как sparkSession.sql("select * from chicago where st_contains(st_makeBBOX(0.0, 0.0, 90.0, 90.0), geom)").show взят из из http://www.geo

0зной

1ответ

Обеспечение того, что переменная всегда кэшируется в Spark и никогда не выкачивается

У меня есть объект, не связанный с сериализацией, и мне нужно, чтобы этот объект был на 100% кэширован в памяти все время. Однако, поскольку искровое задание требует большего объема памяти выполнения

0зной

1ответ

Исключение из потока «main» java.lang.NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader

Когда я пытаюсь выполнить проект искры kafka. Я получаю ниже ошибок: Exception in thread "main" java.lang.NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader at org.apache.spark.Spark