Из документа sqoop, он говорит, что Sqoop может использоваться для импорта данных в Hive с динамическим разделом. Но не смог найти для него никакого примера. Кто-нибудь пробовал это.Динамический раздел с импортом SQoop
Функция Sqoop HCatalog поддерживает следующие типы таблиц:
- Нераспределенных столы
- Разделенных таблиц со статическим ключом разделения указанных
- секционированных таблиц с динамическими ключами разделов из результата базы данных набора
- Разделенные таблицы с комбинацией статического ключа и дополнительных динамических ключей разбиения
Я ищу вариант # 3.
Спасибо заранее.
Я искал импорт данных из Oracle в секционированную таблицу Hive, используя Sqoop (динамический раздел). Я не мог найти его в упомянутой ссылке. :( – InfamousCoconut
С одной стороны, Sqoop импортирует данные из Oracle в (грубо) распределенной моде, основанной на (догадки) диапазонах PK. С другой стороны, Sqoop выталкивает каждую партию в Hive - но это ** Hive **, что позаботится об отправке записей в соответствующем разделе, а не в Sqoop. Нижняя строка: настроить каждую сторону отдельно. –