Run SparkR | или R на моем Cloudera 5.9 Spark

Question

У меня есть 3 кластера узлов, имеющих Cloudera 5.9, работающих на CentOS 6.7. Мне нужно подключить пакеты R (работающие на моем ноутбуке) к запуску Spark в режиме кластера на Hadoop.

Однако, если я попытаюсь подключить локальный R через Sparklyr Connect к Hadoop Spark, он дает ошибку. Поскольку он ищет дом Искры на самом ноутбуке.

Я googled и нашел, что мы можем установить SparkR и использовать R с Spark. Однако у меня мало вопросов относительно того же.

1. Я скачал файл деготь из https://amplab-extras.github.io/SparkR-pkg/ Но мой вопрос я непосредственно скопировать его на мой сервер Linux и установить?
2. Должен ли я останавливать/удалять существующую Искра, которая НЕ стоит одна и с использованием Yarn i.e работает в режиме кластеров? или SparkR может просто запустить поверх него, если я устанавливаю его на сервер?
3. Или мне нужно запустить Spark on Stand Alone (получить Spark gateways и запустить мастер/ведомый с помощью скрипта) и установить пакет из командной строки linux поверх него?
4. Если он будет установлен, я смогу получить к нему доступ через CM UI?

Помогите, я новичок в этом и действительно нуждаюсь в руководстве.

Спасибо, Shilpa

Answer 1

следуйте этим ссылкам .. Вы можете найти ответы на поставленные выше вопросы

http://blog.danielemaasit.com/2015/07/26/installing-and-starting-sparkr-locally-on-windows-8-1-and-rstudio/

http://sbartek.github.io/sparkRInstall/installSparkReasyWay.html

Answer 2

Лучший способ установить R, а затем установить SparkR сверху отсюда: http://blog.clairvoyantsoft.com/2016/11/installing-sparkr-on-a-hadoop-cluster/

Мне удалось установить их по этой ссылке. Это действительно полезно и актуально.

спасибо, Шилпа