Как запускать запросы обновления на spark-sql

Question

Я новичок в искры. Там все равно, что я мог бы работать с командой Update в spark-SQL. Я уже создал таблицу hive, в которой я манипулировал некоторыми синтаксическими запросами SQL, такими как insert, select, delete, но не смог запустить команду обновления. Я искал документацию по искрению и https://docs.datastax.com/en/datastax_enterprise/4.6/datastax_enterprise/spark/sparkSqlSupportedSyntax.html сайт для этого. но я не нашел синтаксис UPDATE в их недавнем списке Spark SQL. Пожалуйста, помогите меня.Я не я использую искру 2.0

Калян

Answer 1

Нет, вы не можете делать обновления запросов, вы должны решить, как это сделать, как SELECT.

Answer 2

Общий ответ заключается в том, что вы не можете. Однако, если данные хранятся в Hive с использованием ORC, вы можете сделать что-то вроде this, чтобы обновить таблицу, используя Spark SQL.

Answer 3

Нет, вы не можете запустить запрос на обновление в искровом улье, его не поддерживают транзакционные запросы.

Answer 4

В записях DataFrame нет каких-либо методов сеттера, поскольку DataFrames основаны на RDD, которые являются неизменными коллекциями, а это означает, что вы не можете изменить свое состояние. Именно поэтому spark sql не поддерживает обновления.

Answer 5

HDFS - это файловая система с однократной записью, а ORC является файлом однократной записи, поэтому редактирование было реализовано с использованием базовых файлов и дельта-файлов, в которые записываются операции вставки, обновления и удаления.