apache-spark-sql

4зной

1ответ

SparkSQL - вложенные структуры Row (field1, field2 = Row (..))

Мне нужна помощь с вложенной структурой в SparkSQL с использованием метода sql. Я создал фрейм данных поверх существующей RDD (dataRDD) со структурой, как это: schema=StructType([ StructField("m",Long

23зной

5ответ

Как добавить любую новую библиотеку, как искрового CSV в Apache Спарк скомпилированную версию

У меня есть построить Spark-csv и в состоянии использовать то же самое от pyspark оболочки с помощью следующей команды bin/spark-shell --packages com.databricks:spark-csv_2.10:1.0.3 Ошибка при получ

0зной

1ответ

Scala extract/pattern matching with companion object

Данный код взято из Spark SQL. Он выполняет извлечение, но castType является сопутствующим объектом - его можно назвать TypeCast.castTo("abc", StringType). Может ли кто-нибудь объяснить, как работает

0зной

1ответ

Ошибка импорта типов из искрового SQL

Я пытаюсь импортировать типы из искры SQL следующим образом импорт org.apache.spark.sql.types._ Но я получаю ошибки, такие как: " не найдено: значение DataType», "не найдено: тип ByteType" полный код

0зной

2ответ

scala.MatchError: in Dataframes

У меня есть одно приложение Spark (version 1.3.1). В котором я пытаюсь преобразовать один в Dataframe, он имеет много полей с различными типами данных (Integer, String, List, Map, Double). Но когда, я

0зной

1ответ

Dataframe не сохраняется в Cassandra

У меня есть одно приложение с Spark (version 1.4.0) и Spark-Cassandra-connector (version 1.3.0-M1). В котором я пытаюсь сохранить один файл данных в таблице Cassandra, который имеет два столбца (итого

1зной

1ответ

одно задание занимает очень много времени при множественном левом объединении в Spark-SQL (1.3.1)

UPD: Вопрос уже недействителен, поскольку оказалось, что две из 100 таблиц имели на несколько порядков больше строк, чем остальные (у которого было 500). Когда «плохие» таблицы удаляются, объединение

7зной

2ответ

Цеппелин SqlContext registerTempTable вопрос

Я пытаюсь получить доступ к некоторым данным JSon использования sqlContext.jsonFile в дирижабле ... следующего кода выполнить без ошибок: import sys.process._ val sqlCon = new org.apache.spark.sql.SQ