google-cloud-dataproc

1зной

1ответ

Использование одного и того же JavaSparkContext для нескольких заданий, чтобы предотвратить использование времени при инициализации искрового драйвера

Я пытаюсь запустить Spark-задания в Google Dataproc. Однако, как обычно видно, инициализация Spark Driver занимает хороший кусок времени выполнения. Я хотел бы знать, что является хорошим способом зап

0зной

1ответ

Каков наилучший способ свести к минимуму время инициализации работы Apache Spark в Google Dataproc?

Я пытаюсь использовать службу REST для запуска Spark-заданий с использованием клиента API Dataproc. Однако каждое задание внутри кластеров dataproc занимает 10-15 с для инициализации Spark Driver и от

0зной

1ответ

В запросе было недостаточно областей проверки подлинности [403] при создании кластера с облачным Dataproc Google

В Облачной платформе Google включен API DataProc. Я использую тот же ключ, который я использую для доступа к GCS и Big query, чтобы создать новый кластер за this example. Я получаю ошибку Request had

1зной

1ответ

Есть ли способ использовать BigQuery с Dataproc?

Я использовал Dataproc с данными в Google Cloud SQL (MySQL), подключившись к GCSQL с адресом IPv4. Есть ли связь с Dataproc для BigQuery, чтобы я мог использовать данные в BigQuery?

3зной

2ответ

PySpark + Google Cloud Storage (wholeTextFiles)

Я пытаюсь проанализировать около 1 миллиона файлов HTML с помощью PySpark (Google Dataproc) и написать соответствующие поля в сжатый файл. Каждый файл HTML составляет около 200 КБ. Следовательно, все