apache-spark-sql

25зной

4ответ

Я пытаюсь решить старую проблему добавления порядкового номера в набор данных. Я работаю с DataFrames, и, похоже, нет DataFrame, эквивалентного RDD.zipWithIndex. С другой стороны, следующие работы бол

10зной

2ответ

Работа вокруг производительности и памяти Проблемы с искровым SQL GROUP BY

Рассмотрим следующий пример запуска GROUP BY с относительно большим числом агрегатов и относительно большого числа групп: import org.apache.spark.sql.hive.HiveContext import org.apache.spark.SparkCon

1зной

1ответ

Ошибки паркета в PySpark с использованием CDH 5.4 и Spark 1.3.0 с паркетным столом в HIVE

Я запускаю CDH 5.4, используя Spark 1.3.0 с поддержкой Spark on YARN. Когда я создаю простую паркетную таблицу в HIVE, а затем попытаюсь выполнить преобразование или агрегацию к ней с помощью PySpark,

57зной

4ответ

Как сортировать по столбцу в порядке убывания в Spark SQL?

Я попробовал df.orderBy("col1").show(10), но он отсортирован по возрастанию. df.sort("col1").show(10) также сортирует по убыванию. Я посмотрел на stackoverflow и ответы, которые я нашел, были устаревш

1зной

1ответ

Невозможно запросить искру RDD с помощью функции HiveThriftServer2.startWithContext

Я пытаюсь сделать запрос к искровым RDD используя HiveThriftServer2.startWithContext функциональность и получаю следующее исключение: java.lang.RuntimeException: java.lang.NullPointerException at

5зной

3ответ

Запустите искру SQL на CHD5.4.1 NoClassDefFoundError

Я устанавливаю свой CHD5.4.1 для запуска некоторого теста Spark SQL на Spark. Spark работает хорошо, но Spark SQL имеет некоторые проблемы. Я начинаю pyspark, как показано ниже: /opt/cloudera/parcels/

1зной

1ответ

Возможно ли получить и использовать JavaSparkContext из задачи?

Я столкнулся с ситуацией, когда я хотел бы выполнить «поиск» в конвейере Spark и/или Spark Streaming (на Java). Поиск несколько сложный, но, к счастью, у меня есть некоторые существующие Spark-конвейе