sqoop импорт в качестве паркетного файла целевой реж, но не может найти файл

Question

Я использую sqoop для импорта данных из MySQL в улей, то команда, которую я использовал ниже:

sqoop import --connect jdbc:mysql://localhost:3306/datasync \ 
    --username root --password 654321 \ 
    --query 'SELECT id,name FROM test WHERE $CONDITIONS' --split-by id \ 
    --hive-import --hive-database default --hive-table a \ 
    --target-dir /tmp/yfr --as-parquetfile 

Таблица улей и данные вставляются, однако я не могу найти файл паркета.

Кто-нибудь знает?

С наилучшими пожеланиями,

Feiran

Answer 1

Sqoop импорт в улей работ в 2 этапа:

• Извлечение данных из СУБД в HDFS
• Создать улья таблицу, если не существует и Загрузка данных в hive table

В вашем случае,

, во-первых, данные хранятся в --target-dir т.е. /tmp/yfr

Затем он загружается в улей таблицу a использованием

LOAD DATA INPTH ... INTO TABLE.. команду.

Как указано в комментариях , данные перемещаются в каталог хранилища улья, поэтому в --target-dir данных нет.