apache-spark-sql

0зной

1ответ

Возможно ли обычное соединение (не через первичный ключ) через Spark?

Я могу присоединиться к Pair RDD просто отлично через свои первичные ключи, но возможно ли объединение на основе определенных атрибутов объекта значения? Например, скажем, у меня есть список или парны

2зной

1ответ

Оптимальные конфигурации Spark SQL для процесса с одним узлом?

Мы используем функциональные возможности SQL-сервера Spark SQL для совместной работы и анализа некоторых локальных файлов данных перед их загрузкой в другом месте. Хотя мы довольны функциональностью

1зной

2ответ

spark - SparkContext и SqlContext - lifecycle and threadsafty

Я разрабатываю услуги по обслуживанию верхней части искры, которая берет пользовательский запрос в качестве входных данных, формулирует искру sql и выполняет его на искровом кластере. Вот что мое пред

1зной

1ответ

В чем смысл «уже вычисленных разделов, которые могут короткозамкнуто вычислять родительский RDD»?

Искровой тезис (http://www.eecs.berkeley.edu/Pubs/TechRpts/2014/EECS-2014-12.pdf) говорят, как рис ниже Я не понимаю "Что значит„уже вычисленных разделов, которые могут закоротить вычисление родителя

2зной

3ответ

Spark: Улей Вставить перезапись бросает ClassNotFoundException

У меня есть этот код, который сохраняет schemaRDD (человек) к столу улей хранится в виде паркета (person_parquet) hiveContext.sql("insert overwrite table person_parquet select * from person") Но вы