2015-08-08 2 views
0

Из документа sqoop, он говорит, что Sqoop может использоваться для импорта данных в Hive с динамическим разделом. Но не смог найти для него никакого примера. Кто-нибудь пробовал это.Динамический раздел с импортом SQoop

Функция Sqoop HCatalog поддерживает следующие типы таблиц:

  1. Нераспределенных столы
  2. Разделенных таблиц со статическим ключом разделения указанных
  3. секционированных таблиц с динамическими ключами разделов из результата базы данных набора
  4. Разделенные таблицы с комбинацией статического ключа и дополнительных динамических ключей разбиения

Я ищу вариант # 3.

Спасибо заранее.

ответ

0

Я предполагаю, что документация Sqoop отстает. В экосистеме Hadoop принято использовать функции, введенные в версии X и задокументированные в версии X + 1.

С другой стороны, это функция HCката, открытая в Sqoop, так почему бы вам не проверить документацию HCatalog при записи «Dynamic Partitioning»?
;-)

+0

Я искал импорт данных из Oracle в секционированную таблицу Hive, используя Sqoop (динамический раздел). Я не мог найти его в упомянутой ссылке. :( – InfamousCoconut

+0

С одной стороны, Sqoop импортирует данные из Oracle в (грубо) распределенной моде, основанной на (догадки) диапазонах PK. С другой стороны, Sqoop выталкивает каждую партию в Hive - но это ** Hive **, что позаботится об отправке записей в соответствующем разделе, а не в Sqoop. Нижняя строка: настроить каждую сторону отдельно. –