Можно ли скомпилировать и создать пользовательскую Apache Spark в Google Cloud Dataproc? Допустим, мы хотим настроить Apace Spark, а затем хотим создать пользовательскую Spark на dataproc.Запуск пользовательских искра построить на Dataproc?
Это должно быть возможно. Dataproc запускает обычные виртуальные машины вычислительного двигателя для вас и настраивает Hadoop и YARN.
Вы можете зайти на любой компьютер, установить собственную сборку искры и указать установку YARN и Hadoop (Dataproc). Однако я сомневаюсь, что вы сможете использовать консоль GCP или интерфейс командной строки dataproc для отправки и мониторинга заданий с помощью собственной установки без дополнительной модификации.
Возможно, вы захотите использовать действие init, чтобы убедиться, что все узлы используют вашу версию искры и не пытаются загрузить предустановленную искру. Действия Init - это в основном произвольные скрипты, которые выполняются на всех узлах. https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/init-actions –