Как пропустить и продолжить сбои загрузки файлов в Vertica?

Question

Я пытаюсь загрузить тысячи сжатых файлов одновременно через NFS в Vertica с копией заявлением с выражением Глобо, но операция прерывания на следующую ошибке:

ERROR 6253: Error occured during LZO header processing: expecting more than 8 bytes, possibly file corrupted 

Что правильный способ сказать vertica, чтобы продолжить загрузку всех хороших файлов и просто сообщить, какие из них не удались в конце загрузки?

Answer 1

Если вы работаете в Vertica 7.2.x, добавили новый параметр: ERROR TOLERANCE. До этой версии его не существует.

Вы можете увидеть варианты копирования here.

Treats each source during execution independently when loading data. The statement is not rolled back if a single source is invalid. The invalid source is skipped and the load continues.

This parameter is disabled for ORC files, Parquet files, and when using a fenced User Defined Load (UDL).

Единственной альтернативой было бы предварительной проверки обоснованности в сценарии или загружать их по отдельности (очевидно, что это будет проблемой производительности, поэтому я выбрал бы для предварительной проверки).