spark-dataframe

3зной

1ответ

Apache Spark UDF, который возвращает динамические типы данных

У меня есть UDF, который обрабатывает JSON и возвращает результаты динамических данных в строке. В моем случае мне это нужно, чтобы проверить данные и вернуть проверенные данные. Схема гибкая для кажд

2зной

1ответ

Лучший способ компоновки данных TimeSeries в Spark DataFrame - Scala

Я импортирую данные из Федерального резервного экономического набора данных API. Каждый запрос возвращает ежедневный, еженедельный, ежемесячный или ежегодный временные ряды. Моя конечная цель - сделат

0зной

1ответ

Поврежденная запись в pyspark После создания фрейма данных из сохраненного файла json

Я сохранил данные json из url в json-файл с именем urljson.json в искровой папке. и выполнил сильфон кода для создания кадра данных на нем этим path="urljson.json/" testdf1=spark.read.json(path) tes

1зной

2ответ

Spark: кеширование/персистентность DataFrame передается от одного к другому?

Предположим, у меня есть этот код (Спарк 1.6.2): val finalDF: DataFrame = if (test) { val df = sqlContext.read.parquet(url).cache df.write.parquet(url2) df } else sqlContext.re

0зной

2ответ

Как эффективно читать несколько небольших паркетных файлов с помощью Spark? есть ли CombineParquetInputFormat?

Искры генерируется несколько небольших паркет файлов. Как можно обрабатывать эффективно небольшое количество паркетных файлов как на рабочих, так и на рабочих местах Spark.

0зной

1ответ

Преобразование Sql запрос искры

У меня есть SQL-запрос, который я хочу, чтобы преобразовать в искровым Scala SELECT aid,DId,BM,BY FROM (SELECT DISTINCT aid,DId,BM,BY,TO FROM SU WHERE cd =2) t GROUP BY aid,DId,BM,BY HAVING COUNT(*)

7зной

1ответ

Отбрасывание пустых разделов DataFrame в Apache Спарк

я стараюсь перераспределить в DataFrame согласно columnm DataFrame имеет N (скажем N=3) различные значения в разделительной колонке x, например: val myDF = sc.parallelize(Seq(1,1,2,2,3,3)).toDF("x") /