0
Я хочу установить распределение Cloudera Hadoop и Spark с помощью tarball. Я уже установил Hadoop в псевдораспределенном режиме на моей локальной машине и успешно провел пример пряжи.Как установить Spark и Hadoop из tarball отдельно [Cloudera]
Я скачал последние тарболы CDH 5.3.x от here
Но структура папок Спарка, загруженного из Cloudera является differrent с сайта Apache. Это может быть связано с тем, что Cloudera предоставляет собственную версию, поддерживаемую отдельно.
Итак, поскольку нет документации, которую я еще не нашел, чтобы установить Искра из этого кластера Cloudera отдельно. Может ли кто-нибудь помочь мне понять, как это сделать?
Ошибка при запуске './Bin/spark-shell' ls: не удается получить доступ /.../spark-1.2.0-cdh5.3.2/assembly/target/scala-2.10: нет такого файла или каталога Не удалось найти сборку искры в /.../spark-1.2.0-cdh5.3.2/assembly/target/scala-2.10 Перед запуском этой программы вам необходимо создать Spark. – surenyonjan
Кажется, что этот tarball не содержит всех зависимостей от искры. Если вы создадите фиктивный файл RELEASE в искровом каталоге и переместите файлы .jar из искровой папки в ./lib/, тогда ошибка, с которой вы сталкиваетесь, исчезнет, но вы столкнетесь с другой ошибкой 'java.lang.NoClassDefFoundError'. Если файл RELEASE отсутствует, он предполагает, что ему необходимо построить искровую сборку. Я загрузил Spark с сайта Apache, я могу использовать его без проблем на HDP 2.2 Sandbox. Кроме того, этот барабанный блок с искровой сборкой больше, чем в баночном контейнере CDH, и, похоже, содержит все зависимости. – Manmohan
Да, я использовал Spark с сайта Apache, но я не мог понять, что он загружен из Cloudera. И нет документации для сборки – surenyonjan