pyspark-sql

1зной

1ответ

Получение PicklingError: Невозможно pickle <type 'function'>: поиск атрибута __builtin __. Function failed in pyspark при вызове UDF

Я использую pyspark 2.0. Я получаю сообщение об ошибке травильного для сильфона кода from pyspark.sql.types import* from datetime import datetime from pyspark.sql.functions import udf def getTime

0зной

1ответ

PySpark Количество выходных файлов

Я новичок в Spark. У меня простой сценарий pyspark. Он читает json-файл, сглаживает его и записывает в S3 в качестве сжатого файла паркета. Действия чтения и преобразования выполняются очень быстро и

1зной

1ответ

искрообразование с использованием сокетов, установка SCHEMA, отображение DATAFRAME в консоли

Как установить схему для потоковой передачи DataFrame в PySpark. from pyspark.sql import SparkSession from pyspark.sql.functions import explode from pyspark.sql.functions import split # Import data

0зной

1ответ

мы можем создать новую таблицу из существующей таблицы с данными в pyspark

Создать синтаксис таблицы для Teradat Create table <DBname>.<Tablename> as select * from <DBname>.<Tablename> with data. подобным образом, как мы можем создать таблицу в СПАРК SQL.

1зной

1ответ

Удаление PySpark Недопустимый формат времени даты в столбце

Формат поля даты даты: 2016-10-15 00:00:00 после использования схемы вывода, сохраняя мои данные в файле паркета, у меня есть несколько строк, t соответствуют этому формату. Как я могу коллективно уда

0зной

2ответ

Выполняется ли синтаксический анализ PySpark JSON в Python или JVM?

sqlContext.read.json("...path.to.file...") Я пишу скрипт Spark в Python, используя pyspark. Выполняется ли JSON-анализ в Python или JVM? Если Python, использует ли это расширение C simplejson или явля