Каков правильный формат для хранения даты и времени для Pig and Hive?

При использовании Pig для ETL, я помещаю обработанные данные в улье с использованием HCatStorer:Каков правильный формат для хранения даты и времени для Pig and Hive?

STORE dataprocessed INTO 'database.table' USING org.apache.hcatalog.pig.HCatStorer();

Моя цель состоит, чтобы сделать данные таблицы назначения используемой либо из Pig или из улья (в зависимости от навыков пользователя)

Каков рекомендуемый формат для хранения даты и времени?

забочусь о:

Сохранение часового пояса данные
Будучи в состоянии сравнить даты
Будучи человеком читаемыми (в качестве примера, я не верю, временная метка чтения человеком)

Спасибо за помощь

источник

2014-09-30 Avanbelle

Я бы, вероятно, сохранил информацию, связанную с датой и временем, как ISO-8601 f ormatted strings/chararrays, так как HCatStorer не поддерживает типы даты (по крайней мере, у свиней) напрямую.

Есть функции для преобразования даты/время информации в свинью: http://pig.apache.org/docs/r0.13.0/func.html#datetime-functions

источник

2014-09-30 10:09:19 Frederic

Спасибо за ваш ответ. Я плохо себя чувствую при записи даты в виде строки: трудно синхронизировать со всеми людьми в компании, чтобы использовать тот же формат. Я понимаю, что нет возможности хранить дату как объект. Это верно? – Avanbelle

Насколько я знаю, это верно в отношении свиньи. Эта страница содержит все типы данных, поддерживаемые HCatStorage, DateTime не входит в число них: https://hive.apache.org/javadocs/hcat-r0.5.0/loadstore.html (см. «Типы данных HCatalog») – Frederic

Да, это то, что Я думал. Это печально, потому что это делает более сложным управление :(Большое спасибо за вашу помощь. – Avanbelle

Каков правильный формат для хранения даты и времени для Pig and Hive?

ответ

Смежные вопросы