как разрешить разницу дат между текстовым файлом в формате куста и форматом паркетного файла

Question

Мы создали одну внешнюю таблицу паркета в улье, вставили существующие данные текстового файла во внешнюю таблицу паркета, используя вставку переписать. , но мы наблюдали дату из существующего текстового файла, не соответствующие паркету.

Данные в файл

текстовый файл Дата: 2003-09-06 00:00:00 паркет Дата файл: 2003-09-06 04:00:00

Вопросы: 1) как мы можем решить эту проблему. 2) почему мы получаем эти несоответствия в данных.

Answer 1

Спасибо за вашу помощь ..

с использованием как Билайн и импал редактор запросы в Хюэ. для доступа к хранилищам данных в таблице паркета, причем проблема с меткой времени возникает, когда вы используете запрос impala через Hue.

Это, скорее всего, связано с известной разницей в том, как улей и Impala обрабатывает значения временной метки:
- когда Улей сохраняет значение временной метки в формате паркетных, он преобразует местное время в время UTC, а когда он считывает данные из , он преобразуется обратно в локальное время.
- Impala, однако, с другой стороны, не выполняет преобразование, когда считывает поле timestamp, следовательно, время UTC возвращается вместо местного времени.

Если серверы расположены в часовом поясе EST, это может дать объяснение тому времени + 4h смещения, как показано ниже:
- метка времени 2003-09-06 00:00 В этом примере следует понимать как EST EDT время (септик 06 - переход на летнее время, поэтому часовой пояс UTC-4h)
- + 4h добавляется к отметке времени при хранении в Hive
- такое же смещение вычитается, когда оно считывается улей, получая правильный Значение
- исправление не выполняется при чтении Импалой, таким образом, показывая 2003-09-06 04:00:00

Answer 2

Даже мы столкнулись с аналогичной проблемой, когда мы sqooping таблицы из sql-сервера это из-за проблемы с драйвером или банкой.

Когда вы делаете перезапись вставки, попробуйте использовать для полей даты.

Это должно работать, сообщите мне, если у вас возникнут какие-либо проблемы.