pyspark

0зной

1ответ

Как сделать работу библиотеки Python на Spark YARN

Если я хочу использовать библиотеку python для конкретной задачи, например NLTK или BeautifulSoup, я могу это сделать, когда я использую Spark на моей локальной машине, но то же самое не делает работа

0зной

1ответ

PySpark Training Случайный лесной трубопровод

Я пытаюсь создать трубопровод, который берет мою DataFrame информацию о задержке полета и запускает на ней случайный лес. Я довольно новичок в MLLib и не могу понять, где я ошибаюсь в своем коде ниже.

0зной

1ответ

Инкрементные вставки с использованием значения параметра световой/проходной данных для другого запроса sparksql

Я бы хотел реализовать инкрементные вставки с использованием искры. Подход, который я использую здесь, - это получить максимальное значение для первичного ключа и использовать его как заданное значени

1зной

1ответ

PySpark и HIVE/Impala

Я хочу построить классификационную модель в PySpark. Мой вклад в эту модель является результатом выбора запроса или представления из Hive или Impala. это любой способ включить этот запрос в сам код Py

0зной

1ответ

Правильное использование flatMap

Почему я постоянно получаю эту ошибку каждый раз, когда я пытаюсь выполнить действие своего RDD &, как это исправить? /databricks/spark/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py in get_return_va

1зной

1ответ

Объединение нескольких функций GroupBy в 1

Используя этот код, чтобы найти модальный: import numpy as np np.random.seed(1) df2 = sc.parallelize([ (int(x),) for x in np.random.randint(50, size=10000) ]).toDF(["x"]) cnts = df2.groupBy

0зной

1ответ

PySpark: RegisterTempTable Lose Headers

Я читал данные с использованием SQLContext и хотел запустить SQL-запросы на нем. Я получил ошибку. Вот мой код: %pyspark from pyspark.sql import SQLContext sqlCtx = SQLContext(sc) data = sqlCtx.re

0зной

1ответ

исправляющие формат JSON и реализации в Спарк

У меня есть JSon файл со строками формата: {"user1" : "a", "mobile": "b", "address": "c" {"user2" : "aa", "mobile": "bb", "address": "cc" Этот журнал неверно, так как нет } в конце каждой стро