apache-spark-dataset

2зной

1ответ

Итак, я пытаюсь переформатировать проект, над которым я работаю, использовать API Dataset и возникал ряд проблем с ошибками кодирования. Из того, что я читал, я думаю, что я должен хранить массивы при

0зной

1ответ

Как зажигают вариант при преобразовании из Dataset в Dataframe

Так это то, что я пытался: import org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.sql.functions._ val conf = new SparkConf().setMas

0зной

1ответ

Как создать TypedColumn в наборе Spark Dataset и управлять им?

Я пытаюсь выполнить агрегацию с использованием mapGroups, которая возвращает SparseMatrix как один из столбцов и суммирует столбцы. Я создал схему для отображаемых строк, чтобы указать имена столбцов.

6зной

2ответ

Как назвать совокупные столбцы?

Я использую Spark в Scala, и мои агрегированные столбцы анонимны. Есть ли удобный способ переименовать несколько столбцов из набора данных? Я думал о наложении схемы с as, но ключевой столбец представ

0зной

1ответ

Почему Dataset не принимает свою собственную схему для типоразмеров?

Я изо всех сил пытаюсь понять, как создавать схемы Dataset. У меня есть набор данных от агрегации с ключом кортежа в одном столбце, а агрегат во втором: > ds.show +------+------+ | _1| _2| +------+

4зной

2ответ

Спарк Dataset выберите с typedcolumn

Глядя на select() функции на свече DataSet существуют различные сгенерированные функции подписи: (c1: TypedColumn[MyClass, U1],c2: TypedColumn[MyClass, U2] ....) Это как бы намекает, что я должен бы

0зной

1ответ

Агрегатор SparkSQL: ошибка несоответствия типа

Я использую Databricks Community Edition с предварительным просмотром Spark 2.0. Я попробовал следующее (простой) код: import org.apache.spark.sql.expressions.Aggregator import org.apache.spark.sql.E

1зной

1ответ

Логический план DataFrame/Dataset Исход Apache

Я использую искру 2.0.0. Вот мой код: import org.apache.spark.sql.DataFrame import org.apache.spark.sql.SparkSession import org.apache.spark.sql.catalyst.analysis.EliminateSubqueryAliases import or