yarn

1зной

1ответ

Как мы выделяем различное количество редукторов гетерогенных кластеров?

Наша система имеет кластер из 5 хостов (например, узел данных или ведомые компьютеры ...). Теперь я хочу выделить разное количество редукторов этих хостов, потому что 1 хост медленный. , Мы используем

hadoop load-balancing yarn reducers 2016-12-14

---

1зной

1ответ

Spark/Hadoop - Не удается найти реализацию сервера SASL для DIGEST-MD5

в течение нескольких часов теперь я пытаюсь настроить Hadoop/YARN, чтобы я мог выполнять программы Spark на нем. Но у меня застряла ошибка, для которой я абсолютно ничего не нахожу. При попытке искры

hadoop apache-spark yarn 2016-12-16

---

2зной

1ответ

Исправлены настройки по умолчанию на dataproc, особенно spark.yarn.am.memory

В google dataproc мне было интересно, как определяются настройки искры? В моем случае, я бег 3 узла n1-стандарт-4 кластера и автоматически искровой defaults.conf выглядит следующим образом: # User-sup

apache-spark yarn google-cloud-dataproc 2016-12-16

---

0зной

1ответ

ClassNotFoundException с Scalding на Zeppelin, управляемый на YARN

Я пытаюсь заставить Scalding работать над Zeppelin при использовании YARN. Я выполнил шаги в документах here, чтобы построить интерпретатор и настроить переопределение класса. Когда я запускаю в локал

yarn classnotfoundexception apache-zeppelin scalding 2016-12-16

---

-1зной

2ответ

Ошибка в примере на карте уменьшить работу с помощью java.lang.NoSuchFieldError: HADOOP_CLASSPATH

Я установил oozie 4.3.0 в hadoop 2.7.3. Службы oozie и hadoop запущены и запущены. Я попытался выполнить примерную работу по уменьшению количества карт, которая поставляется с дистрибутивом oozie, ког

hadoop mapreduce yarn oozie hadoop2 2016-12-18

---

0зной

1ответ

Невозможно получить более быстрые результаты с помощью пряжи при работе искры в кластере hadoop

Применяя алгоритм LSH в Spark 1.4 (https://github.com/soundcloud/cosine-lsh-join-spark/tree/master/src/main/scala/com/soundcloud/lsh), я обрабатываю текстовый файл (4 ГБ) в формате LIBSVM (https://www

apache-spark yarn hpc locality-sensitive-hash 2016-12-19

---

0зной

1ответ

java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO Не удается запустить DFS

я установил/сконфигурированный Hadoop на окнах Hadoop-2.6.0 Я не мог успешно начать «SBIN \ start-dfs ". Я получаю ниже ошибки 16/12/20 13:03:56 FATAL namenode.NameNode: Failed to start namenode. jav

hadoop hdfs yarn dfs 2016-12-20

---