Я запускаю стандартный класс hbase для подсчета строк (RowCounter) в таблице BigTable. Используется DataProc gui в Google Консоли. Это сработало хорошо, но через несколько недель я попытался запустить
У меня есть данные в Big Query Я хочу запустить аналитику в искровом кластере. По документации, если я создаю искровой кластер, он должен иметь соединитель Big Query. Я искал любой пример кода для это
Запуск pyspark на 8 узле Google dataproc кластер с настройками по умолчанию. Через несколько секунд после начала я вижу 30 ИСПОЛНИТЕЛЬ ядер, работающих (как и ожидалось):
>>> sc.defaultParalleli
я получаю следующее сообщение об ошибке: Py4JError(u'An error occurred while calling o73.createDirectStreamWithoutMessageHandler. Trace:\npy4j.Py4JException: Method createDirectStreamWithoutMessageHan