pyspark-sql

2зной

2ответ

агрегация кадр данных Pyspark с определенным пользователем функции

Как я могу использовать «GroupBy (ключ) .agg (» с заданными пользователем функции? В частности мне нужен список всех уникальных значений одного ключа [не рассчитывайте].

2зной

1ответ

Преобразование RDD в таблицу непредвиденных обстоятельств: Pyspark

В настоящее время я пытаюсь преобразовать RDD в contingency table, чтобы использовать модуль pyspark.ml.clustering.KMeans, который принимает входной кадр данных. Когда я myrdd.take(K), (где К некоторо

2зной

1ответ

Spark не распространяет предоставленный драйвер по кластеру

Я создал искровой кластер, используя spark-ec2. Теперь я хочу представить задачу, которая получает некоторые данные из Postgres, обогащает его, и сбрасывает его обратно в новой таблице, так что я стар

5зной

2ответ

Компенсация вычислений Pyspark

Я хочу использовать функцию pyspark.mllib.stat.Statistics.corr для вычисления корреляции между двумя столбцами объекта pyspark.sql.dataframe.DataFrame. corr Функция рассчитывает принять rdd из Vectors

0зной

2ответ

pySpark: возможно ли groupBy() с одним единственным узлом на группу?

Я использую pySpark для вычисления матриц на группы. Похоже, что вычисление будет быстрее, если Spark сохранит строки данной группы на одном узле, поэтому Spark может вычислить каждую матрицу локально