Sqoop import Parquet java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat error

Question

Я клонировал проект sqoop от git hub и построил его в Windows 7 с помощью build.xml, используя ant, чтобы создать sqoop-1.4.6- SNAPSHOT.jar и развернуть его в /usr/lib/sqoop в cdh5 среде, но когда я запускаю sqoop команду импорта я получаю следующую ошибку в трассировки стека:

Exception in thread "main" java.lang.NoClassDefFoundError: org/kitesdk/data/mapreduce/DatasetKeyOutputFormat 
    at org.apache.sqoop.mapreduce.DataDrivenImportJob.getOutputFormatClass(DataDrivenImportJob.java:179) 

ли я делаю что-то неправильно? использует окна для неправильного построения проекта, нужно ли добавлять дополнительные банки?

1. Я развернул все кайты sdk в sqoop/lib.
2. Добавлен kite sdk в hasoop_classpath.

Answer 1

Sqoop управляет своими зависимостями, несколько отличающимися при клонировании, чем когда он упакован. Я настоятельно рекомендую использовать BigTop или один из distributions Sqoop.

Основываясь на другой операционной системе, чем тот, который вы развертываете, не имеет значения.

В вашем случае это похоже, что кайт просто не добавляется в ваш путь к классу. Так как вы построили Sqoop вручную, вы можете добавить банки к:

SQOOP_HOME/lib

или

SQOOP_HOME/build

Далее, проверьте права доступа. Убедитесь, что указанные выше каталоги доступны пользователю, выполняющему команду sqoop. У этого пользователя должны быть разрешения на выполнение. Кроме того, банки должны быть прочитаны пользователем.

Если все остальное не удается, обратитесь в сообщество Sqoop через user mailing list.