искровой оболочка и sparkR в Google DataProc

Question

Я новичок в Google DataProc

Мы хотим запустить набор кода с помощью искровой оболочки или sparkR для целей тестирования. Возможно ли подключиться к искровому коммутатору и выполнить команды в искровой оболочке или искрах в google DataProc?

Я проверил doc, и, похоже, мы можем отправлять задания с использованием spark-submit, но я не могу найти информацию об искровой оболочке или SparkR.

Answer 1

Да.

Искры-оболочка и искра установлены на всех виртуальных машинах в кластере данных, и вы можете использовать SSH в любой из них (обычно я использую главный узел) и запускать искровую оболочку или искра.