Sqoop не в состоянии импортировать --as-parquetfile

Я использую версию Sqoop: 1.4.6.2.4.0.0-169 на песочнице hortonworks с HDP 2.4.Sqoop не в состоянии импортировать --as-parquetfile

Я получаю ниже ошибки, когда я выполняю команду sqoop:

sqoop import --connect jdbc:mysql://127.0.0.1/test --username root --password test --table details --m 1 --target-dir /test_parq_sqoop --driver com.mysql.jdbc.Driver --as-parquetfile --verbose

org.kitesdk.data.DatasetNotFoundException: Неизвестный набора данных URI: HDFS: //sandbox.hortonworks.com: 8020/test_parq_sqoop , Убедитесь, что JAR для наборов данных hdfs находятся на пути к классу.

источник

2016-08-20 Ragzz

Можете ли вы импортировать другие форматы? У меня создалось впечатление, что Паркет в основном принимается в дистрибутивах Клаудера –

положить файл jar в classpath lib.

проверить путь класса hadoop. Затем проверьте требуемую банку или нет. скорее всего, это не так, потому что эта ошибка говорит о том, что так поместил ее в этот каталог и перезапустил диспетчер.

источник

2016-08-22 13:12:39

проверяет путь класса hadoop. Затем проверьте требуемую банку или нет. скорее всего, это не так, потому что эта ошибка говорит о том, что так поместил ее в этот каталог и перезапустил диспетчер. –

Я понял, решение ... Я смог импортировать в Avro и в другом формате, но проблема только в паркет ... kitesdk, используемый для преобразования в паркет, принимает только полный URI в качестве целевого каталога .... так что когда я дал полный URI в -target-dir, например: --target-dir/usr/root/sqoop вместо --target-dir/sqoop. – Ragzz

спасибо sahil :) – Ragzz

Sqoop не в состоянии импортировать --as-parquetfile

ответ

Смежные вопросы