spark-dataframe

1зной

1ответ

Как выполнить некоторые операции с набором данных Spark, не влияя на структуру данных?

Я использую API-интерфейсы API для удаления дубликатов. То, что я пытаюсь сделать, это группировать дублированные строки, чтобы оставить только одну строку из каждой группы, но с столбцом, определяющи

0зной

1ответ

использование искра SQL UDF в dataframe API

Как я могу использовать UDF, который отлично работает в искре, как sparkSession.sql("select * from chicago where st_contains(st_makeBBOX(0.0, 0.0, 90.0, 90.0), geom)").show взят из из http://www.geo

2зной

1ответ

Агрегация Spark Dataset, аналогичная агрегату RDD (ноль) (накопитель, сумматор)

RDDRDD имеет очень полезную совокупность методов, которая позволяет накапливать нулевое значение и комбинировать его между разделами. Есть ли способ сделать это с помощью Dataset[T]. Насколько я вижу

0зной

1ответ

Какая ячейка DataFrame. DropDuplicate drop

Если я сортирую фрейм данных в нисходящем ордере на основе столбца. А затем отбросьте дубликаты с помощью df.dropDuplicate, то какой элемент будет удален? Элемент, который был меньше по типу?

0зной

1ответ

Spark: Взорвать пару вложенных столбцов

Спарк Версии 2.1 Я читаю файл в искру dataframe с следующим форматом: { "field1": "value1", "field2": "value2", "elements": [{ "id": "1", "name": "a" }, { "i

1зной

1ответ

Объединение нескольких функций GroupBy в 1

Используя этот код, чтобы найти модальный: import numpy as np np.random.seed(1) df2 = sc.parallelize([ (int(x),) for x in np.random.randint(50, size=10000) ]).toDF(["x"]) cnts = df2.groupBy

0зной

1ответ

Пересечение и объединение двух столбцов в dataframe

-1зной

1ответ

Должен ли я явно использовать методы Dataframe, чтобы воспользоваться оптимизацией Dataset?

Чтобы воспользоваться преимуществами оптимизаций Dataset «s, у меня явно использовать Dataframe's метод (например, df.select(col("name"), col("age") и т.д.) или позвонив по телефону любых методов набо