apache-spark-sql

1зной

1ответ

Как получить максимум ArrayType MapTypes с помощью Spark SQL?

У меня есть следующий Спарк DataFrame: df = sql.createDataFrame([ (1, [ {'name': 'john', 'score': '0.8'}, {'name': 'johnson', 'score': '0.9'}, ]), (2, [ {'na

0зной

1ответ

Newbie (spark dataframes) - df.count(). Show() возвращает AttributeError

Извините за новичку вопрос. Просто учись. Я просто пытаюсь создать блок данных искры из блока Cloudant db и подсчитывать количество записей. После вызова функции для подсчета, я получаю сообщение об о

0зной

1ответ

Интеграция Spark SQL с использованием Pyspark с интерпретатором python и pandas и ноутбуком Ipython

Я хочу знать, какой интерпретатор подходит для Python для использования таких функций, как Numpy, pandas и matplotlib, с функцией встроенной записной книжки Ipython. Также я хочу интегрировать это с A

-2зной

2ответ

Spark.read.csv Ошибка: java.io.IOException: Отказано

Я использую Спарк v2.0 и пытается прочитать файл CSV, используя: spark.read.csv("filepath") Но получить ошибку ниже: java.lang.RuntimeException: java.lang.RuntimeException: java.io.IOException: Perm

2зной

1ответ

Схема для типа Any не поддерживается

Я пытаюсь создать искру UDF, чтобы извлечь пару (ключ, значение) из класса, определенного пользователем. Функция scala работает нормально, но когда я пытаюсь преобразовать ее в UDF в spark2.0, я сталк

0зной

1ответ

Spark UDF как параметр функции, UDF не находится в области функций

У меня есть несколько UDF, которые я хотел бы передать как аргумент функции вместе с кадрами данных. Одним из способов сделать это может быть создание UDF внутри функции, но это создаст и уничтожит не

1зной

1ответ

Как присоединиться к искровым dataframe без дубликатов колонка в JAVA