Как прочитать файл паркета с большим количеством столбцов в наборе данных без специального класса case?

Question

Я хочу использовать наборы данных вместо dataframes.

Читает паркетный файл и хочет вывести типы непосредственно:

val df: Dataset[Row] = spark.read.parquet(path) 

Я не хочет Dataset[Row] но и Dataset.

Я знаю, что могу сделать что-то вроде:

val df= spark.read.parquet(path).as[myCaseClass] 

, но мои данные есть много колонок! поэтому, если я могу избежать написания класса case, это было бы здорово!

Answer 1

Почему вы хотите работать с Dataset? Я думаю, это потому, что у вас будет не только схема бесплатно (что у вас есть с результатом DataFrame), а потому, что у вас будет безопасная схема.

Для вашего набора данных необходимо иметь Encoder, и для этого вам нужен тип, который будет представлять ваш набор данных и, следовательно, схему.

Либо у вас есть select ваши столбцы на разумное количество и используйте as[MyCaseClass], либо вы должны принять то, что предлагает DataFrame.