Как создать новый столбец строк, извлекающий целые числа из метки времени в Spark?

Question

У меня есть блок данных искры с отметкой времени, я хочу новый столбец, который имеет строки в формате «ГГГГММ».

Я попытался с:

df.withColumn('year_month',year(col("timestamp")).cast("string")+month(col("timestamp")).cast("string")) 

Но если моя временная метка 2016-10-12, она возвращается в 2020 YYYYMM.

Answer 1

Вы можете использовать date_format:

from pyspark.sql.functions import date_format 
df.withColumn('year_month', date_format('timestamp', 'yyyyMM'))