pyspark-sql

1зной

1ответ

Можно ли загружать несколько файлов в виде одного кадра данных? Обычно, если у меня есть один файл для загрузки, я буду называть, например: file1 = "https://stackoverflow.com/a/b/c/folder/file1.csv"

3зной

1ответ

Какая разница между --archives, --files, PY-файлов в качестве аргументов рабочих pyspark

--archives, --files, --py-files и sc.addFile и sc.addPyFile довольно запутанным, может кто-то объяснить это ясно?

0зной

1ответ

Apache SPARK с SQLContext :: IndexError

Я пытаюсь выполнить базовый пример, представленный в Вывод схемы с использованием Reflection сегмента документации Apache SPARK. Я делаю это на Cloudera Quickstart VM (CDH5) пример я пытаюсь выполнить

5зной

1ответ

Как установить spark.sql.parquet.output.committer.class в pyspark

Я пытаюсь установить spark.sql.parquet.output.committer.class, и ничто из этого не делает, чтобы настройка вступила в силу. Я пытаюсь записать много потоков в одну и ту же папку вывода, которая будет

3зной

1ответ

Pyspark пользовательский агрегатный расчет по столбцам

Я готовлю данные для ввода для классификатора в Pyspark. Я использую агрегированные функции в SparkSQL для извлечения таких функций, как среднее и дисперсия. Они сгруппированы по активности, имени и о

0зной

2ответ

Совокупный первый сгруппированный элемент из последующих элементов

У меня есть сеансы пользовательских игр, содержащие: идентификатор пользователя, идентификатор игры, оценку и отметку времени, когда игра была сыграна. from pyspark import SparkContext from pyspark.s

3зной

2ответ

pyspark, Сравните две строки в dataframe

Я пытаюсь сравнить одну строку в кадре данных со следующей, чтобы увидеть разницу в метке времени. В настоящее время данные выглядит следующим образом: itemid | eventid | timestamp ------------------

1зной

2ответ

Spark pivot один столбец, но сохранить другие неповрежденные

Учитывая следующий фреймворк данных, как мне настроить максимальные баллы, но суммировать сумму игр? from pyspark import SparkContext from pyspark.sql import HiveContext from pyspark.sql import func