google-cloud-dataproc

1зной

1ответ

Собирает ли Bigtable данные по сети в Dataproc для выполнения этапа карты?

Я использую кластер Google Dataproc для запуска Spark M/R для Bigtable. Являются ли данные, отправленные из Bigtable в кластер Dataproc по сети для выполнения этапа карты, или этап карты работает физи

0зной

1ответ

Не удается прочитать файлы через FTP, используя SparkContext.textFile (...) в Google Dataproc

Я запускаю Spark-кластер в Google Dataproc, и у меня возникают некоторые проблемы при попытке прочитать GZip-файл с FTP с помощью sparkContext.textFile(...). код Я бегу это: object SparkFtpTest extend

0зной

1ответ

Pyspark и BigQuery с использованием двух разных идентификаторов проектов в Google Dataproc

Я хочу запустить некоторые задания pyspark с помощью Google Dataproc с разными идентификаторами проектов без успеха. Я новичок с pyspark и Google Cloud, но я последовал примеру this и хорошо работает

1зной

1ответ

Dataproc Spark Streaming Предупреждение о контрольной точке Kafka в облачном хранилище Google

У меня есть много предупреждений при использовании Dataproc 1.1 (Spark 2.0.2) с контрольной точкой Kafka в Google Cloud Storage. У меня есть следующий предупредить: 16/12/11 01:36:02 WARN HttpTranspor

0зной

1ответ

Как запрограммировать внешний IP-адрес кластера Google, созданного с помощью Dataproc?

Когда я создаю кластер Compute с использованием Dataproc от Google, если имя кластера является «MyCluster» в проекте «MyProject-107701», тогда основной кластер распознается внутри «mycluster-mcmyproje

0зной

1ответ

Почему Spark работает в Google Dataproc хранит временные файлы на внешнем хранилище (GCS) вместо локального диска или HDFS при использовании saveAsTextFile?

я выполнить следующий код PySpark: from pyspark import SparkContext sc = SparkContext() data = sc.textFile('gs://bucket-name/input_blob_path') sorted_data = data.sortBy(lambda x: sort_criteria(x)

2зной

1ответ

Исправлены настройки по умолчанию на dataproc, особенно spark.yarn.am.memory

В google dataproc мне было интересно, как определяются настройки искры? В моем случае, я бег 3 узла n1-стандарт-4 кластера и автоматически искровой defaults.conf выглядит следующим образом: # User-sup