Hive - Способы стандартизации входящих полей даты n улей?

Question

У меня есть источники данных со всего мира с использованием mysql, oracle и т. Д. Каждый источник данных хранит дату как запись в таблице (таблицах), но формат не является стандартным и может даже варьироваться от таблицы к таблице в том же источнике данных (yyyy-MM-dd, yyyy-dd-MM, MM-dd-yyyy, yyyy-MMM-dd HH: mm: SS: ss и т. д.).

Каковы некоторые варианты стандартизации этих разных полей даты для хранения в улье? Свинья?

Answer 1

Если вы используете Sqoop для вытягивания данных в Hive, вы можете написать свой собственный запрос, чтобы получить дату в определенном стандартном формате.

sqoop --options-file <Source RDMS options file> 
--query "select to_char(start_date,'mm/dd/yyyy') as my_date from SALES"