Как перемещать данные между секционированных таблиц в улье

Question

У меня есть две таблицы emp1 и emp2 имеющие Поля-

• идентификатор пользователя
• имя
• занятие
• страна

emp1 имеет раздел по стране и emp2 имеет раздел на занятии Тион

Как перенести данные из emp1 в emp2

Answer 1

перезаписи целевой таблицы с набором данными из emp1 плюса (union all) старых данных, который был в етр2 таблице. Примечание distribute by в конце запроса - это для оптимизации создания разделов, окончательные редукторы получат только данные раздела, что уменьшит потребление памяти.

insert overwrite table emp2 partition(occupation) 
select userid, name, country, occupation from emp1 
union all 
select userid, name, country, occupation from emp2 
distribute by occupation; 

Кроме того, вы можете добавить удаление дубликатов, используя row_number().