Sqoop function '--map-column-hive' игнорируется

Question

Я пытаюсь импортировать файл в куст как паркет, а -map-column-hive column_name = timestamp игнорируется. Столбец «column_name» первоначально имеет тип datetime в sql и преобразует его в bigint в паркет. Я хочу преобразовать его в формат timestamp через sqoop, но он не работает.

sqoop import \ 

--table table_name \ 

--driver com.microsoft.sqlserver.jdbc.SQLServerDriver \ 

--connect jdbc:sqlserver://servername \ 

--username user --password pw \ 

--map-column-hive column_name=timestamp\ 

--as-parquetfile \ 

--hive-import \ 

--hive-table table_name -m 1 

Когда я просматриваю стол в улье, он по-прежнему показывает столбец с его исходным типом данных.

Я попробовал column_name = string, и это тоже не сработало.

Я думаю, что это может быть проблемой при преобразовании файлов в паркет, но я не уверен. У кого-нибудь есть решение исправить это?

У меня нет ошибок при запуске команды, она просто завершает импорт, как если бы команда не существовала.

Answer 1

Перед тем как куст 1.2 версии Поддержка Timestmap в ParquetSerde небезопасна. В версии 1.1.0 доступна только поддержка двоичных данных.

Пожалуйста, проверьте link

Пожалуйста, обновите версию до 1.2, и после того, как она должна работать.

Please check the issue log and release notes below. 

https://issues.apache.org/jira/browse/HIVE-6384 

https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12329345&styleName=Text&projectId=12310843