apache-spark-sql

1зной

1ответ

У меня есть таблица ключей/значений в Hive 0.13 (ключ и значение являются типами avro). Когда я пытаюсь запустить запрос в Спарк SQL 1.1 я получаю следующее сообщение об ошибке (в улье работает) spark

0зной

1ответ

Как связать RDD [String] с массивом [String] для создания строки?

Как можно преобразовать RDD[String] и Array[String] в String? Я получаю ошибку ниже, <console>:34: error: type mismatch; found : org.apache.spark.rdd.RDD[String] required: String Идея заключается

2зной

1ответ

Spark newbie (ODBC/SparkSQL)

У меня есть установка искрового кластера, и я попытался использовать как собственный scala, так и искру sql на моем наборе данных, и настройка, похоже, работает по большей части. У меня есть следующие

1зной

1ответ

Функция OVERLAPS в Impala

Я пытаюсь использовать и перекрывать функцию, как в ORACLE или Netezza, которая занимает два диапазона дат и проверяет, перекрываются ли они друг с другом. Soemthing: SELECT (TIMESTAMP '2011-01-28 00:

9зной

2ответ

Чтение данных с SQL Server с использованием Spark SQL

Возможно ли считывать данные с сервера Microsoft Sql (и oracle, mysql и т. Д.) В rdd в приложении Spark? Или нам нужно создать набор из памяти и сделать это в RDD?

9зной

1ответ

Spark SQL не удалось завершить запись данных паркета с большим количеством осколков

Я пытаюсь использовать Apache Spark SQL для данных журнала etl json в S3 в файлах Parquet также на S3. Мой код в основном: import org.apache.spark._ val sqlContext = sql.SQLContext(sc) val data = sq

0зной

1ответ

Spark SQL count() возвращает неверный номер

Я новичок в Apache Spark и Scala (также новичок в Hadoop в целом). Я закончил учебник Spark SQL: https://spark.apache.org/docs/latest/sql-programming-guide.html Я попытался выполнить простой запрос в