Объединение двух таблиц с функцией unix_timestamp() в обоих

Question

У меня есть две таблицы A и B. Оба имеют одинаковые имена столбцов. Я хочу объединить эти две таблицы и загрузить их в таблицу C. Таблица C также имеет те же имена столбцов, что и A и B, и еще один столбец в timestamp (это для захвата времени объединения). Я не хочу дубликатов в таблице C. Я пробовал объединение, но получал повторяющиеся значения, потому что один из столбцов в таблице C в типе данных Timestamp.

Для примера, ниже мой пример запроса

insert overwrite table TableC 
select field1,field2, unix_timestamp() as field3 from table_A 
UNION 
select field1,field2, unix_timestamp() as field3 from table_B 

Функция два UNIX_TIMESTAMP() возвращает различные временные метки (только милли второй разницы), и я получаю дубликаты данных из-за временной метки.

Есть ли другой способ получить одну и ту же метку времени для обеих функций при объединении?

Answer 1

UNIX_TIMESTAMP()
Возвращает текущую метку времени Unix в секундах.
Эта функция недетерминирована и препятствует правильному оптимизации запросов -
это было устаревшим, начиная с 2,0 в пользу CURRENT_TIMESTAMP

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF

insert overwrite table TableC 
select field1,field2, unix_timestamp(current_timestamp) as field3 from table_A 
UNION 
select field1,field2, unix_timestamp(current_timestamp) as field3 from table_B 

---

Дополнительные обходные

insert overwrite table TableC 

select  field1,field2,unix_timestamp() as field3 

from  (  select field1,field2 from table_A 
      union all select field1,field2 from table_B 
      ) t 

group by field1,field2 

или

insert overwrite table TableC 

select  field1,field2,unix_timestamp() as field3 

from  ( select field1,field2 from table_A 
      union select field1,field2 from table_B 
      ) t