spark-dataframe

1зной

1ответ

Spark Dataframe вычисление процентиля на массиве

Мне нужно вычислить, имеют кванты искры на числовом поле после группа по операции. Есть ли способ применить approxPercentile в сводном списке вместо столбца? E.g. Dataframe выглядит как k1 | k2 | k3 |

0зной

1ответ

Агрегатная функция на искровом RDD типа RDD [String, Int, String]

Мы пытаемся использовать функцию агрегации на RDD. Где РДД в виде РДУ [Strng, Int, String] Учитывая перечень элементов, List(("Amit1",45,"M"),("Amit2",43,"M"),("Amit3",28,"F"),("Amit4",33,"F"),("Amit5

0зной

2ответ

Удалить имена столбцов из искры dataframe при хранении его в текстовом файле

Моего выхода dataframe, как показано ниже, DF.show(2) +--------------+ |col1|col2|col3| +--------------+ | 10| 20| 30| | 11| 21| 31| +--------------+ после сохранения его как текстовый файл - D

0зной

3ответ

Как загрузить все файлы XML из каталога HDFS с помощью искру databricks XML Parser

Как получить один dataframe всех файлов XML в каталоге HDFS, который имеющей ту же схему XML с помощью databricks XML Parser

0зной

1ответ

Mutate искра кадра данных с пользовательской функцией

Существует искру dataframe df со схемой: { 'objects' : [{'name': 'a', 'age': 10, 'is_relevant': False}, {'name': 'b', 'age': 20, 'is_relevant': True}, {'name': 'c', 'age': 30, 'is

0зной

1ответ

избежать колонки повторяющиеся имена столбцов при объединении двух кадров данных в PySpark

У меня есть следующий код: from pyspark.sql import SQLContext ctx = SQLContext(sc) a = ctx.createDataFrame([("1","a",1),("2","a",1),("3","a",0),("4","a",0),("5","b",1),("6","b",0),("7","b",1)],["id"

3зной

3ответ

Scala - Спарк В Dataframe извлечение, для строки, имя столбца с имеет максимальное значение

У меня есть DataFrame: name column1 column2 column3 column4 first 2 1 2.1 5.4 test 1.5 0.5 0.9 3.7 choose 7 2.9 9.1 2.5 Я хочу новый dataframe с колонками содержат имя столбца с имеет

0зной

1ответ

Как разрешить None значение приниматься в dataframe в Spark 2?

У меня есть что-то вроде схемы - val schema = StructType(Seq ( StructField("a", StringType, true), StructField("b", StringType, true), StructField("c", StringType, true) )) and making a dataframe

0зной

1ответ

Spark DataFrame add Column with Rows

Каков наилучший способ добавить новый столбец и новые строки в DataFrame? Возможно ли это сделать одновременно? К примеру, у меня есть таблица AB, как: +------+-------+ | a| b| +------+-------+ |