Spark create UDF, который не принимает вход

Question

Я хочу добавить столбец с случайно сгенерированным идентификатором в свой ядро ​​Spark. Чтобы сделать это, я использую UDF вызвать метод случайной выборки UUID UUID, как и так:

def getRandomId(s:String) : String = { 
    UUID.randomUUID().toString() 
} 

val idUdf = udf(getRandomId(_:String)) 
val newDf = myDf.withColumn("id", idUdf($"colName")) 

Очевидно, что моя функция getRandomId не нужен входной параметр; однако я не могу понять, как создать UDF, который не принимает в качестве столбца. Возможно ли это в Spark?

Я использую Спарк 1.5

Answer 1

вы можете зарегистрировать UDF без каких-либо Params. Здесь () => String разрешит требование

import org.apache.spark.sql.functions.udf 
val uuid = udf(() => java.util.UUID.randomUUID().toString) 

с помощью UDF (uuid) на DataFrame

val newDf = myDf.withColumn("uuid", uuid()) 

Answer 2

вы можете попробовать это:

def getRandomId() : String = { 
    UUID.randomUUID().toString() 
} 

val idUdf = udf(getRandomId _) 
val newDf = df.withColumn("id", idUdf()) 

Хитрость заключается в том getRandomId _ создает функцию () => String из ваш метод