pyspark

0зной

1ответ

Объединение журналов из нескольких каталогов в Spark

У меня есть файлы журналов, которые входят в разные каталоги в зависимости от даты создания файла журнала. Например > /mypath/2017/01/20/... . . . > /mypath/2017/02/13/... > /mypath/2017/02/14/..

2зной

2ответ

Amazon EMR Pyspark: rdd.distinct.count() failling

В настоящее время я работаю с кластером EMR, подключающимся к RDS, чтобы собрать 2 таблицы. Два созданных RDD довольно велики, но я могу выполнять операции .take (x), другие из них. я также можем выпо

0зной

1ответ

Pyspark UDF с помощью функции Quantlib

Я экспериментировал с Quantlib и Спарк, пытаясь передать функцию Quantlib в Pyspark пример ниже: from QuantLib import * from pyspark.sql.types import StringType from pyspark.sql.functions import udf

3зной

2ответ

Ошибка преобразования типа из LabeledPoint в pyspark.mllib, для использования модели линейной регрессии в pyspark.ml

У меня есть следующий код для линейной регрессии с использованием пакета pyspark.ml. Однако я получаю сообщение об ошибке для последней строки, когда модель быть приспособленной: IllegalArgumentExcept

0зной

1ответ

Спарка поиск SQL внутри массива для структуры

структуры Моих данных определяются примерно следующим образом: schema = StructType([ # ... fields skipped StructField("extra_features", ArrayType(StructType([ StructField("key", StringType(),

2зной

1ответ

Acessing вложенные столбцы в pyspark dataframe

У меня есть документ XML, который выглядит следующим образом: <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <Position> <Search> <Location> <Region>OH</Region> <Coun

0зной

1ответ

pyspark streaming restore from checkpoint

Я использую потоки pyspark с включенными контрольно-пропускными пунктами. Первый запуск успешным, но когда рестарт происходит сбой с ошибкой: модули INFO scheduler.DAGScheduler: ResultStage 6 (runJob

3зной

2ответ

не может импортировать статистику pyspark модуль

Python 2.7, Apache Спарк 2.1.0, Ubuntu 14,04 В pyspark оболочки я получаю следующее сообщение об ошибке: >>> from pyspark.mllib.stat import Statistics Traceback (most recent call last): File "