Могу ли я непосредственно рассматривать столбцы разделов Hive, похожие на столбцы разделов, присутствующие в моих исходных таблицах (Teradata)? или я рассматриваю какие-либо другие параметры для определения столбцов разбиения Hive? Пожалуйста помоги.Могу ли я непосредственно рассматривать столбцы разделов Hive, похожие на столбцы разделов, присутствующие в исходных (Teradata) таблицах?
Это не лучшая практика. если вы создадите данные таким образом, то человек, который пытается получить доступ к данным HDFS напрямую, не найдет «столбцов разделов» в каждом разделе. Например, скажем, таблица Teradata разделена на столбец date, а затем, если таблица hive также разделена на date, тогда раздел HDFS говорит, что 2016-08-06 не будет иметь поля даты. Поэтому, чтобы облегчить раздел конечного пользователя фиктивным столбцом, скажите date_d, который будет точно так же, как и столбец даты.
Абстрактно, перегородки в Teradata и Улей являются similar.To начать с вы можете, вероятно, использовать одни и те же столбцы, как в источнике для раздела таблицы.
Если размер вы данные огромен в каждом отдельном разделе, а затем рассмотреть разбиение его дальше, чтобы улучшить performance.The многоуровневая разделение будет в основном зависеть от количества фильтров, которые применяются на запросах.