Я попытался начать spark-shell с:Спарк оболочка не может подключиться к ПРЯЖАМ
spark-shell --master yarn-client
Тогда я вхожу в оболочку. Но через несколько секунд, я получил это в оболочке:
WARN ReliableDeliverySupervisor: Association with remote system [akka.tcp://[email protected]:38171] has failed, address is now gated for [5000] ms. Reason is: [Disassociated].
я много раз повторил эту ошибку в файле журнала пряжу.
15/02/23 20:37:26 ИНФО yarn.YarnAllocationHandler: Завершенный контейнер container_1424684000430_0001_02_000002 (состояние: ПОЛНОЕ, статус выхода: 1) 15/02/23 20:37:26 ИНФО yarn.YarnAllocationHandler : Контейнер с пометкой не выполнен: container_1424684000430_0001_02_000002. Статус выхода: 1. Диагностика: исключение из контейнера-запуска. Контейнер Идентификатор: container_1424684000430_0001_02_000002 код выхода: 1 Stack след: ExitCodeException ExitCode = 1: при org.apache.hadoop.util.Shell.runCommand (Shell.java:538) в org.apache.hadoop.util.Shell. (Shell.java:455) в org.apache.hadoop.util.Shell $ ShellCommandExecutor.execute (Shell.java:715) по адресу org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer (DefaultContainerExecutor .java: 211) на org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call (ContainerLaunch.java:302) на org.apache.hadoop.yarn.server.nodemanager.containermanager .launcher.ContainerLaunch.call (ContainerLaunch. Java: 82) на java.util.concurrent.FutureTask.run (FutureTask.java:262) при java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java:1145) на java.util.concurrent.ThreadPoolExecutor $ Worker.run (ThreadPoolExecutor.java:615) в java.lang.Thread.run (Thread.java:745)
Контейнер завершился с кодом ненулевым 1
Я также заметил эта линия:
15/02/23 21:00:20 INFO yarn.ExecutorRunnable: Setting up executor with commands: List($JAVA_HOME/bin/java, -server, -XX:OnOutOfMemoryError='kill %p', -Xms1024m -Xmx1024m , -Djava.io.tmpdir=$PWD/tmp, '-Dspark.driver.port=33837', -Dspark.yarn.app.container.log.dir=<LOG_DIR>, org.apache.spark.executor.CoarseGrainedExecutorBackend, akka.tcp://[email protected]:33837/user/CoarseGrainedScheduler, 4, vbox-lubuntu, 1, application_1424684000430_0003, 1>, <LOG_DIR>/stdout, 2>, <LOG_DIR>/stderr)
Странная часть -Dspark.yarn.app.container.log.dir =. Похоже, что переменная не расширяется. Но я думаю, что я уже определил это.
P.S. искровых представить, кажется, работают:
spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster /path/to/lib/spark-examples-1.2.1-hadoop2.4.0.jar
Вы уверены, что это вызвано нехваткой памяти? У меня тоже есть эта проблема и не менее 6 ГБ/на каждый неиспользуемый объем памяти. Устранена ли проблема с обновлением доступной физической памяти? – toobee
@toobee, вы использовали '--executor-memory', как это указано [здесь] (https://spark.apache.org/docs/1.2.1/running-on-yarn.html)? Spark не проверяет доступную память вашей системы. Значение по умолчанию очень мало. – davidshen84
Хорошо. Кажется, теперь он работает в режиме кластера - спасибо до сих пор.То, что еще не работает, - это пряжа-клиент. Я все еще получаю это сообщение об ошибке. Вы знаете, что может вызвать эту проблему в клиентском режиме? Настройка бара не помогает здесь. – toobee