spark-dataframe

1зной

1ответ

Как проверить, если столбец массива в другой массив столбцов в pyspark dataframe

Предположим, у меня есть следующий случай from pyspark.sql.types import * schema = StructType([ # schema StructField("id", StringType(), True), StructField("ev", ArrayType(StringType()), Tr

0зной

1ответ

Newbie (spark dataframes) - df.count(). Show() возвращает AttributeError

Извините за новичку вопрос. Просто учись. Я просто пытаюсь создать блок данных искры из блока Cloudant db и подсчитывать количество записей. После вызова функции для подсчета, я получаю сообщение об о

2зной

1ответ

Есть ли способ выполнить операцию трансляции cast или withColumn в pyspark без нарушения цепочки функций?

Что-то мне нравится в работе с DataFrames - это возможность цепочки вызовов функций вместе. Проблема, с которой я сталкиваюсь, заключается в том, что я изо всех сил пытаюсь найти синтаксис, который по

1зной

1ответ

Dataframe будет напрямую подключаться к РСУБД от Исполнителя или он будет проходить через Драйвер?

В Spark Dataframe им нужно искать под капотом объяснение для оптимизации. Кадры данных представляют собой особый тип RDD, внутри которого содержатся RDD. Эти RowRDD распространяются через исполнителей

0зной

1ответ

Как обрабатывать столбцы dataframe pyspark

У меня есть pyspark df с> 4k столбцами без каких-либо ярлыков/заголовков. Основываясь на значениях столбца, я должен применять конкретные операции для каждого столбца. Я делал то же самое с помощью па

1зной

1ответ

Создайте единую матрицу из плотных векторов в качестве световой информационной рамки

Мне нужно выяснить, как создать единую матрицу из плотных векторов произвольного размера в искровом свете. Я пытался что-то сделать из модуля mllib.linalg.distributed, но безрезультатно. Мне нужна фре