pyspark

-1зной

1ответ

Преобразование Spark dataframe в Spark DenseMatrix для операций

Я смотрел по всему Интернету и не мог найти, как просто преобразовать блок данных в искру в матрицу, чтобы я мог выполнять на нем операции с матрицей. Как я могу просто достичь этого в Spark 2?

0зной

2ответ

Лямбда-функция, которая проверяет, находится ли одна из трех строк в строке

Так что я не использовал функции лямбда много, и мои профессора толкают, что мы их используем, поэтому я немного борюсь. Я работаю в Pyspark, и мне нужно проверить, есть ли одно из трех слов в строке

4зной

2ответ

Как заменить все значения Null в кадре данных в Pyspark

У меня есть фрейм данных в pyspark с более чем 300 столбцами. В этих столбцах есть несколько столбцов со значениями null. Например: Column_1 column_2 null null null null 234 null 125 124 365

0зной

1ответ

Управление зависимостями на python с искрою на google cloud dataproc

Я написал скрипт Spark, который зависит от six и различных других пакетов python. $ cat ./test_package/__init__.py from six.moves.urllib.request import urlopen def download_size(url): return l

0зной

1ответ

Py4JNetworkError: ошибка поиска символа, неопределенный символ: cblas_daxpy

Окружающая среда is: JDK 1.7; CDH 5.8.0 Код является from pyspark.ml.feature import PCA from pyspark.mllib.linalg import Vectors data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),), (Vectors.den

2зной

1ответ

Как сравнить два кадра данных в Pyspark

c = df[df['CUSTOMER_EMAIL_ID'].isin(d.CUSTOMER_EMAIL_ID)] Как написать такое же выражение в PySpark?

0зной

1ответ

не удалось создать sparkcontext в sparkversion 2.0.1

Я недавно обновил версию своей искры от 1.5 до 2.0.1. Сценарии python перестают работать. код в 1.5, который работал sc=SparkContext(appName="YOGI") код изменен в искрой 2.0.1 sc =SparkContext().mas