Установка RHadoop на кластере Hadoop

Question

Я пытаюсь установить RHadoop поверх моего кластера Hadoop. При установке некоторых из необходимых пакетов возникает следующая ошибка:

> install.packages("Megh/rmr2_3.3.1.tar.gz") 
Installing package into ‘/usr/lib64/R/library’ 
(as ‘lib’ is unspecified) 
inferring 'repos = NULL' from 'pkgs' 
Error in rawToChar(block[seq_len(ns)]) : 
    embedded nul in string: 'rmr2/man/fromdfstodfs.Rd\0\0\0\0erties\n i-_". ' 
Warning message: 
In install.packages("Megh/rmr2_3.3.1.tar.gz") : 
    installation of package ‘Megh/rmr2_3.3.1.tar.gz’ had non-zero exit status 
> 

> install.packages("Megh/plyrmr_0.6.0.tar.gz") 
Installing package into ‘/usr/lib64/R/library’ 
(as ‘lib’ is unspecified) 
inferring 'repos = NULL' from 'pkgs' 
Warning in untar2(tarfile, files, list, exdir, restore_times) : 
    checksum error for entry 'plyrmr/man/as.data.framed' 
Warning in readBin(con, "raw", n = 512L) : 
    invalid or incomplete compressed data 
Error in untar2(tarfile, files, list, exdir, restore_times) : 
    incomplete block on file 
Warning message: 
In install.packages("Megh/plyrmr_0.6.0.tar.gz") : 
    installation of package ‘Megh/plyrmr_0.6.0.tar.gz’ had non-zero exit status 

Я также установил RHive на кластере. Я в состоянии выполнить относительно меньшие запросы через RHive но большие запросы не:

> rhive.query("SELECT COUNT(*) FROM tradehistory") 
Error: java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask 
> rhive.query("SELECT tradeno FROM tradehistory LIMIT 10") 
    tradeno 
1 34232193 
2 34232198 
3 34232199 
4 34232200 
5 34232201 
6 34232202 
7 34232203 
8 34232204 
9 34232205 
10 34232206 

Если кто-нибудь имеет какие-либо идеи, пожалуйста, помогите мне с этим! Заранее большое спасибо!

Answer 1

Для ошибки установки, с которой я столкнулся, я понял, что это проблема с файлом tar.

Я загрузил этот файл tar в систему Windows и передал его в свой кластер с помощью WinSCP.

для передачи файлов типа zip/archive, в идеале должна использоваться двоичная передача, иначе могут быть пропущены некоторые байты файла tar.

Это, в свою очередь, приводит к ошибке.

В случае Tez, если требуется выполнить запрос, который должен вызывать несколько задач MapReduce, запрос не может выполняться без надлежащей авторизации.

Так что, когда я попробовал один и тот же запрос на рывок с предоставлением имени пользователя и пароля, я смог достичь желаемых результатов.