Я пытаюсь запустить искровое приложение, написанное в scala 11.8, искра 2.1 на кластере EMR версии 5.3.0. я настроил кластер со следующим:Что означает искра exitCode: 12 означает?
JSON[
{
"Classification": "hadoop-env",
"Configurations": [
{
"Classification": "export",
"Configurations": [],
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/java-1.8.0"
}
}
],
"Properties": {}
},
{
"Classification": "spark-env",
"Configurations": [
{
"Classification": "export",
"Configurations": [],
"Properties": {
"JAVA_HOME": "/usr/lib/jvm/java-1.8.0"
}
}
],
"Properties": {}
}
]
если я пытаюсь запустить на клиентском режиме все нормально работают. при попытке запустить приложение с кластерным режимом он потерпел неудачу с кодом состояния 12.
Вот часть мастер-журналом, где я вижу, код состояния:
17/02/01 10:08:26 INFO TaskSetManager: Завершенная задача 79.0 в стадии 0.0 (TID 79) в 293 мс на ip-10-234-174-231.us-west-2.compute.internal (исполнитель 2) (78/11102) 17/02 02/01 10:08:27 INFO YarnAllocator: Драйвер запросил всего 19290 исполнителей. 17/02/01 10:08:27 INFO ApplicationMaster: Окончательный статус приложения: FAILED, exitCode: 12, (причина: Исключение было выброшено 1 раз из потока Reporter.) 17/02/01 10:08: 27 INFO SparkContext: Вызов остановки() от выключения крюка
UPDATE:
в рамках этой работы, мне нужно прочитать некоторые данные из s3, что-то вроде этого: sc.textFile("s3n://stambucket/impressions/*/2017-01-0[1-9]/*/impression_recdate*) Если бы я только принять один день, ошибок нет. Но с 9 я получаю этот код выхода 12. Еще более странно считать тот факт, что 9 дней в режиме клиента просто прекрасны.
Googling предполагает, что это означает, что вам не хватает какой-то jar файлов. Это соответствовало бы его работе локально, но не на кластере. Проверьте, что вы настроили все так, чтобы нужные банки были доступны повсюду, –
emr-5.x по умолчанию использует Java 8, поэтому ваши конфигурации не нужны. Я не думаю, что они были бы источником этой проблемы, но я бы рекомендовал удалить эти конфигурации. –
@ TheArchetypalPaul Если это действительно так, как я должен знать, какая банда отсутствует, можете ли вы поделиться ссылкой, которую вы нашли. – NetanelRabinowitz