Integertype() в схеме StructType

Question

Я пытаюсь определить схему для преобразования пустого списка в dataframe согласно синтаксису ниже:

data=[] 

schema = StructType([ 
StructField("Table_Flag",StringType(),True), 
StructField("TableID",IntegerType(),False), 
StructField("Entry_No",StringType(),True), 
StructField("Dimension_Code",StringType(),True), 
StructField("Dimension_Value_Code",StringType(),True) 
]) 

data=spark.createDataFrame(data,schema) 

но он дает ошибку имени «IntegerType» не определен. Я пробовал с BooleanType, DecimalType, FloatType, IntegralType, но никто не работает. Только StringType и DataType доступны в виде типов данных. В соответствии с документацией types.py IntegerType определен в примерах.

Просьба предложить. Я работаю на свече версии 2.0.1

Answer 1

Добавить импорт в начале файла:

from pyspark.sql.types import IntegerType 

Или еще проще:

from pyspark.sql.types import * 

Чтобы импортировать все классы из pyspark.sql.types