apache-spark-sql

4зной

1ответ

Как передать имя пользователя и пароль Spark-SQL при использовании источника данных JDBC?

Я только начал использовать Спарк-SQL для загрузки данных из базы данных H2, вот что я сделал следующий документ Спарк-SQL: >>> sqlContext = SQLContext(sc) >>> df = sqlContext.load(source="jdbc",driv

0зной

1ответ

Получение NullPointerException при использовании Spark-submit

У меня есть код, который считывает файл данных в фреймворк Spark, должен отфильтровывать любые строки с нулями в определенном поле и выписывать результат. Когда я запускаю его в Spark-shell, все работ

0зной

1ответ

Spark SQL build для улья?

Я скачал искрой релиз - 1.3.1 и тип пакета предварительной сборки для Hadoop 2.6 и позже теперь я хочу работать ниже код, используя лестницу искровой оболочки, так что я следовал за этим шаги 1. bin/s

0зной

1ответ

SparkSQL Ошибка выбора для некоторых полей

Я использую искру 1.3.1, в питона, у меня есть что-то вроде этих: t1=sqlCtx.createDataFrame(sizes, ["id", "sum"]) t1.registerTempTable("t1") t1.take(1) <-- will show [Row(id=u'5b9a9171fde001c3d9b'

31зной

5ответ

Как сохранить DataFrame непосредственно в Hive?

Можно ли сохранить DataFrame в искры непосредственно к улью. Я попытался с преобразованием DataFrame в Rdd, а затем сохранил как текстовый файл, а затем загрузил в куст. Но мне интересно, могу ли я не