Создать поле автоматического приращения в временной таблице Spark SQL

Question

Я новичок в среде Spark. Я использую Spark SQL в своем проекте. Я хочу создать поле автоматического приращения в временной таблице Spark SQL. Я создал UDF, но он не работал должным образом. Я пробовал различные примеры в Интернете. Это мой Java POJO класс:

public class AutoIcrementId { 
    int lastValue; 
    public int evaluate() { 
     lastValue++; 
     return lastValue; 
    } 
} 

Answer 1

Мы можем использовать ульи с учетом состояния UDF для значений автоинкрементных. Код будет выглядеть следующим образом.

package org.apache.hadoop.hive.contrib.udf; 

import org.apache.hadoop.hive.ql.exec.Description; 
import org.apache.hadoop.hive.ql.exec.UDF; 
import org.apache.hadoop.hive.ql.udf.UDFType; 
import org.apache.hadoop.io.LongWritable; 

/** 
* UDFRowSequence. 
*/ 
@Description(name = "row_sequence", 
    value = "_FUNC_() - Returns a generated row sequence number starting from 1") 
@UDFType(deterministic = false, stateful = true) 
public class UDFRowSequence extends UDF 
{ 
    private LongWritable result = new LongWritable(); 

    public UDFRowSequence() { 
    result.set(0); 
    } 

    public LongWritable evaluate() { 
    result.set(result.get() + 1); 
    return result; 
    } 
} 

// End UDFRowSequence.java 

Регистрация UDF:

CREATE TEMPORARY FUNCTION auto_increment_id AS 
    'org.apache.hadoop.hive.contrib.udf.UDFRowSequence' 

Использование:

SELECT auto_increment_id() as id, col1, col2 FROM table_name 

Похожий вопрос был дан ответ здесь (How to implement auto increment in spark SQL)