google-cloud-dataproc

0зной

2ответ

Переход Google Cloud Dataproc в Spark 1.6.0

Может ли Google Dataproc начать использовать Spark 1.6.0 в ближайшее время? Я создаю кластер, используя эту команду: gcloud beta dataproc clusters create <cluster-name> и по умолчанию используется S

1зной

1ответ

Google Dataproc - часто отключается от исполнителей

Я использую Dataproc для запуска команд Spark над кластером с использованием искровой оболочки. Я часто получаю сообщения об ошибках/предупреждениях, указывающие, что я теряю связь с моими исполнителя

4зной

2ответ

Присылать задание с помощью pyspark, как получить доступ к загрузке статических файлов с помощью аргумента --files?

, например, у меня есть папка: / - test.py - test.yml и работа занесена искры кластера с: gcloud beta dataproc jobs submit pyspark --files=test.yml "test.py" в test.py, я хочу, чтобы получ

0зной

1ответ

Доступ к данным в хранилище Google для Apache Spark SQL

У меня есть данные о стоимости 30 ГБ в облачном хранилище, которые я бы хотел запросить при использовании Apache Hive из кластера Dataproc. Какова наилучшая стратегия доступа к этим данным. Является л

7зной

3ответ

Версия Guava при использовании искровой оболочки

Я пытаюсь использовать разъем spark-cassandra через искровую оболочку на dataproc, однако я не могу подключиться к своему кластеру. Похоже, что существует несоответствие версии, поскольку путь class в

4зной

1ответ

Какой регистратор я должен использовать для получения моих данных в Cloud Logging

Я выполняю работу PySpark с помощью Cloud Dataproc и хочу регистрировать информацию, используя модуль Python logging. Цель состоит в том, чтобы затем вставить эти журналы в Cloud Logging. От this ques

3зной

1ответ

java.net.BindException: адрес уже используется при использовании Google DataProc

Я просто создал кластер Spark в Google Cloud с помощью DataProc, и я пытаюсь отправить простую задачу pyspark hello-world.py с моей локальной машины с помощью gcutil как указано в документации - https

0зной

1ответ

Доступ к Cassandra из Google Cloud Dataproc

Я просто настроил кластер Spark в Google Cloud с помощью DataProc, и у меня есть отдельная установка Cassandra, работающая на отдельной виртуальной машине. Я хотел бы установить соединитель искровой к