Ускорение в машину для сращивания

Question

Я пишу потоковое задание в Spark для загрузки данных в Splice Machine. Я следил за учебником сообщества, используя VTI для вставки данных в Splice, но все примеры выполняют INSERT. Напротив, я должен выполнить UPSERT из записей. Есть ли способ достичь этого?

спасибо.

Answer 1

Да, вы можете сделать upsert, изменив инструкцию VTI, чтобы использовать подсказку insertMode. Ваше заявление будет выглядеть примерно следующее:

INSERT INTO IOT.SENSOR_MESSAGES --splice-properties insertMode=UPSERT select s.* from new com.splicemachine.tutorials.sparkstreaming.kafka.SensorMessageVTI(?) s ( id varchar(20), enter code here location varchar(50), temperature decimal(12,5), humidity decimal(12,5), recordedtime timestamp );

Обратите внимание, что в вашем коде Java вам нужно будет добавить символ новой строки (\ п) после того, как намек, в противном случае он считает все, что является частью намек. Возникла проблема с использованием советов с VTI, которые были исправлены в следующей версии машины для сращивания, если вы находитесь на версии 2.0.x, мы можем вернуть исправление к этой версии.

Две другие подсказки, которые могут оказаться полезными при использовании VTI являются:

• statusDirectory: Что ставит импорт/upsert сообщений в плохом каталоге на HDFS так же, как заявление SYSCS_UTIL.IMPORT_DATA делает
• badRecordsAllowed: указывает количество ошибочных записей, которые разрешены до сбоя процесса.