Использование Akubra-HDFS с Cloudera CDH4

Question

Я экспериментирую с использованием Akubra-HDFS в качестве хранилища низкого уровня для сервера fedora commons. Я выполнил процедуру, похожую на installation of IRODS, для настройки Akubra-HDFS. Сервер fedora работал с Hadoop (версия 1.0.4) в качестве хранилища. Но у меня возникли проблемы с использованием библиотеки Akubra-HDFS с использованием Cloudera CDH4/Apache Hadoop 2.0.3alpha - дистрибутивов высокой доступности (HA). Я хотел поделиться своими выводами.

Answer 1

Поскольку AKubra-HDFS - это новая экспериментальная библиотека, в Интернете не так много ресурсов. Я должен был найти решение, экспериментируя с различными баночками зависимости.

Следуйте инструкции на https://github.com/fasseg/akubra-hdfs

Вместо банок перечисленных там Hadoop 1.x.x, скопируйте приведенный ниже опарник из CDH4 (папок установки) в папку Lib Fedora.

1. -Обще-кли 1.2.jar
2. обыкновенных-конфигурация-1.6.jar
3. Обще-лан-2.4.jar
4. • Google-коллекция-1,0-rc2.jar (Это должен быть удален из папки fedora lib).
5. гуавы-11.0.2.jar (это новая версия Google-коллекций)
6. Hadoop-Auth-2.0.0-cdh4.1.3.jar
7. Hadoop-синфазного 2.0.0 -cdh4.1.3.jar
8. Hadoop-HDFS-2.0.0-cdh4.1.3.jar
9. Protobuf-Java-2.4.0a.jar