Как можно отлаживать/получать журналы для сбоев SparkR Java-бэкэнд?

Question

Ошибка при установке glm с помощью Spark. Ошибка No status is returned. Java SparkR backend might have failed.. На самом деле работа заканчивается на основе Spark web ui, но в какой-то момент во время установки модели (она не выглядит согласованной точкой) SparkR возвращает указанное выше сообщение об ошибке, а затем возвращается к R REPL. Я не вижу журнал, где бы я ни ссылался, чтобы определить проблему. Будет ли Ответчик вопроса указать мне на журнал или предоставить другие отзывы относительно этой проблемы?

Я вижу, что код генерации ошибки: here. Похоже, что, возможно, соединение, указанное get(".sparkRCon", .sparkREnv), просто отсутствует или отвечает ложно пустой строкой во время вычисления? Я в недоумении.

Я нахожусь на искры 2.0.0 используя Amazon EMR 5.0.

Answer 1

FWIW - мой опыт с этой ошибкой свидетельствует о том, что драйвер обычно имеет OOMed (хотя это не единственная причина отказа драйвера). Все узлы завершили свои операции, но при компиляции результата драйвер не удался. Устранение неполадок не было очевидным, так как SparkR скрывает множество ошибок ... Я нашел его, запустив тот же запрос в pyspark и увидев там ошибку Java OOM драйвера.