2017-02-07 10 views
1

У меня смешанный тип данных. Я читаю этот файл данных из таблицы с улей, используя команду spark.sql('select a,b,c from table').как отличить все столбцы dataframe к строке

Некоторые столбцы являются int, bigint, double и другие являются строками. Всего 32 столбца. Есть ли способ в pyspark преобразовать все столбцы в кадре данных в тип строки?

ответ

7

Просто:

from pyspark.sql.functions import col 

table = spark.sql("table") 

table.select([col(c).cast("string") for c in table.columns])