Как преобразовать объект Avro Schema в StructType в искру

Question

У меня есть RDD типа Row i.e, RDD [Row] и объект схемы avro. Мне нужно создать dataframe с этой информацией.

Мне нужно преобразовать объект схемы avro в StructType для создания DataFrame.

Не могли бы вы помочь.

Answer 1

com.databricks.spark.avro имеет класс, чтобы помочь вам с этим

StructType requiredType = (StructType) SchemaConverters.toSqlType(AvroClass.getClassSchema()).dataType(); 

Пожалуйста, пройти через этот конкретный пример: http://bytepadding.com/big-data/spark/read-write-parquet-files-using-spark/