Как загрузить собственные библиотеки в Hadoop

Question

по этой команде
hadoop checknative -a

выход:

16/09/11 09:03:15 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
Native library checking: 
hadoop: false 
zlib: false 
snappy: false 
lz4:  false 
bzip2: false 
openssl: false 
16/09/11 09:03:15 INFO util.ExitUtil: Exiting with status 1 

как разрешить это

Answer 1

Существует руководство доступно на официальном сайте Hadoop: https://hadoop.apache.org/docs/r2.4.1/hadoop-project-dist/hadoop-common/NativeLibraries.html

Это довольно легко для использования национальной библиотеки аддопов:

1. Просмотрите компоненты.
2. Просмотрите поддерживаемые платформы.
3. Либо загрузите релиз hadoop, который будет содержать предварительно встроенную версию встроенной библиотеки хаопов, или создайте собственную версию встроенной библиотеки хаопов. Если вы загружаете или создаете, имя для библиотеки такое же: libhadoop.so
4. Установите пакеты разработки кодеков сжатия (> zlib-1.2,> gzip-1.2): + Если вы загрузите библиотеку, установите один или несколько пакеты разработки - в зависимости от того, какие кодеки сжатия вы хотите использовать при развертывании. + Если вы создаете библиотеку, необходимо установить оба пакета разработки.
5. Проверьте файлы журнала времени выполнения.