Инкрементные вставки с использованием значения параметра световой/проходной данных для другого запроса sparksql

Question

Я бы хотел реализовать инкрементные вставки с использованием искры. Подход, который я использую здесь, - это получить максимальное значение для первичного ключа и использовать его как заданное значение. Но проблема в том, как я могу преобразовать dataframe и передать его другому запросу.

id=sqlContext.sql("""select max(requestid) as maxr from st""") 

ПАРОЛЯ ниже запроса

query="""select requestid as maxr from st where requestid='{}'""".format(id) 
dfjoin = sqlContext.sql(query) 
dfjoin.show() 

Я хотел бы видеть значение идентификатора и MaxR быть same.Doing выше, кажется, не работает и не возвращает никакого значения.

Пожалуйста, помогите. Благодаря

Answer 1

Спасибо,

ниже работал для меня

id=sqlContext.sql("""select max(requestid) as maxr from st""").collect()[0][0]