Инкрементный экспорт Sqoop с использованием hcatalog?

Question

Есть ли способ использовать sqoop для инкрементного экспорта? Я использую интеграцию Hcatalog для sqoop.I пробовал использовать параметры -last-value, --check-column, которые используются для инкрементного импорта, но sqoop дал мне ошибку, что параметры были недействительными.

Answer 1

Я не видел дополнительных аргументов экспорта sqoop. Другой способ, которым вы могли бы попробовать, - создать contol_table в улье, где вы сохраняете журнал имени таблицы & timestamp, когда он был последним экспортирован каждый раз.

create table if not exists control_table (
table_name string, 
export_date timestamp 
); 

insert into control_table 'export_table1' as table_name, from_unixtime(unix_timestamp()) as export_date from control_table; 

Если export_table1 это таблица, которую нужно экспортировать постепенно и при условии, если уже выполнили выше двух заявлений.

--execute below at once 
--get the timestamp when the table was last executed 
create temporary table control_table_now as select table_name, max(export_date) as last_export_date from control_table group by table_name; 

--get incremental rows 
create table new_export_table1 as select field1, field2, field3, .... timestamp1 from export_table1 e, control_table_now c where c.table_name = 'export_table1' and e.timestamp1 >= c.last_export_date; 

--append the control_table for next process 
insert into control_table 'export_table1' as table_name, from_unixtime(unix_timestamp()) as export_date from control_table; 

Теперь экспортируйте таблицу new_export_table1, которая создается поэтапно с использованием команды экспорта sqoop.

Answer 2

По умолчанию sqoop не поддерживает постепенное обновление с интеграцией hcatalog, когда мы пытаемся это дает следующее сообщение об ошибке

режим Append для импорта не совместим с HCatalog. Пожалуйста, удалите параметр - присоединять-режим в org.apache.sqoop.tool.BaseSqoopTool.validateHCatalogOptions (BaseSqoopTool.java:1561)

вы можете использовать параметр запроса, чтобы заставить его работать. как описано в this hortonworks document