pyspark

0зной

2ответ

PySpark добавить новый столбец в dataframe с новым списком

На основании предыдущих вопросов: 1, 2. Предположим, у меня есть следующий dataframe: df = spark.createDataFrame( [(1, "a", 23.0), (3, "B", -23.0)], ("x1", "x2", "x3")) И я хочу, чтобы доба

2зной

1ответ

Понимание LDA in Spark

Я использую скрытое выделение Дирихле в Spark (LDA). И я пытаюсь понять вывод, который он выдает. Вот мой пример набора данных после того, как я выполнил текст, функция преобразования с использованием

0зной

1ответ

jupyter notebook вмешивается в искра submit

Я установил Spark с Hadoop, предварительно встроенным в мою ОС X, и интегрировал PySpark с ноутбуком Jupyter. В основном я печатаю «pyspark» в моем терминале Jupyter Notebook. Все работает нормально.

0зной

1ответ

Как установить контекст pyspark по умолчанию в jupyter ноутбуках?

Когда я запускаю настройку pyspark, он создает ноутбук Jupyter, с которым я могу с радостью получить доступ в Интернете. Он также автоматически создает объекты, такие как «sc» и «spark» - контексты. Г

0зной

1ответ

Возврат Livy до завершения вычисления

Работа с Livy на песочнице Hortonworks мы обнаружили, что в некоторых случаях API Livy дает результат для инструкции до окончания фактической работы, как указано инструментом мониторинга Spark. В неко

0зной

1ответ

Зарегистрировать Spyder для ошибки Spark

Я попытался настроить простой автономный Spark-кластер, с интерфейсом Spyder. Было несколько замечаний в списке рассылки и в другом месте, которые дают руководство how to do this. Это не работает для