apache-spark-sql

0зной

1ответ

Когда я запускаю какой-то запрос с помощью sql sql (hivecontext), он жалуется, как показано ниже. какой синтаксис вызовет это? Я использую искру 1.6 и улей 1.2 Я понятия не имею. Похоже, что ваше сооб

0зной

1ответ

Какая ячейка DataFrame. DropDuplicate drop

Если я сортирую фрейм данных в нисходящем ордере на основе столбца. А затем отбросьте дубликаты с помощью df.dropDuplicate, то какой элемент будет удален? Элемент, который был меньше по типу?

0зной

1ответ

Инкрементные вставки с использованием значения параметра световой/проходной данных для другого запроса sparksql

Я бы хотел реализовать инкрементные вставки с использованием искры. Подход, который я использую здесь, - это получить максимальное значение для первичного ключа и использовать его как заданное значени

4зной

2ответ

Как преобразовать данные набора Spark Row в строку?

Я написал код для доступа к таблице Hive, используя SparkSQL. Вот код: SparkSession spark = SparkSession .builder() .appName("Java Spark Hive Example") .master("local[*]") .con

0зной

1ответ

Пересечение и объединение двух столбцов в dataframe

0зной

1ответ

Чтение текстового файла на основе ключа в виде колонны из другого Textfile

Я новый Спарк Я пытаюсь загрузить таблицу в Спарк как Textfile Я хочу, чтобы прочитать текстовый файл, основанный на другой Текстовый файл Column например :: Id в качестве ключа Если B.id Матчи a.id Т

0зной

1ответ

Zeepelin не использует Spark scheduler pool

У меня установлен Zepplein 0.158. spark.scheduler.pool=test в интерфейсе интерпретатора, а также в zeppelin-env.sh. zeppelin.spark.concurrentSQL=false в интерфейсе интерпретатора, а также в zeppelin-e

0зной

1ответ

Любой пример использования Apache Spark org.apache.spark.sql.DataFrameNaFunctions? ..drop(), похоже, не работает?

Я пытаюсь отфильтровать набор данных с значениями NA.found org.apache.spark.sql.DataFrameNaFunctions , но кажется, что его drop() или drop («any»), похоже, не работают должным образом. ..or пожалуйста