google-cloud-dataproc

2зной

1ответ

Параллельная обработка файлов с использованием облачных сервисов

У меня есть много изображений, которые мне нужно запустить через java-программу для создания большего количества файлов изображений - неловко параллельного корпуса. Каждый входной файл составляет окол

2зной

1ответ

Google Dataproc Jobs никогда не отменяет, не останавливает или не заканчивает

Я использую Google Dataproc в течение нескольких недель, и с тех пор, как я начал, у меня была проблема с отменой и прекращением работы. Похоже, что на кластерной установке должен быть какой-то другой

1зной

2ответ

Tachyon on Dataproc Master Replication Error

У меня есть простой пример, выполняющийся на главном узле Dataproc, где установлены Tachyon, Spark и Hadoop. У меня есть ошибка репликации, написанная Tachyon от Spark. Есть ли способ указать, что он

8зной

2ответ

Где пользовательский интерфейс Spark в Google Dataproc?

Какой порт следует использовать для доступа к интерфейсу Spark в Google Dataproc? Я попробовал порт 4040 и 7077, а также множество других портов я нашел с помощью netstat -pln брандмауэр настроен прав

1зной

2ответ

Как запустить куст на google облако dataproc изнутри машины?

Я только что создал кластер облака dataproc Google. Несколько основных вещей, которые не работают для меня: Я пытаюсь запустить улью консоли от главного узла, но он не загружается с любым пользователе

3зной

1ответ

Включить дополнительные области проверки подлинности в кластере Dataproc

Я пытаюсь запустить задание Spark (scala) в кластере Dataproc, которому необходимо подключиться к подписке Pub/Sub pull в том же проекте, но я получаю ошибку ниже. Я предполагаю, что машины в моем кла

1зной

1ответ

Запуск примера BigQuery Dataproc на локальном компьютере

Я пытаюсь запустить пример соединителя на локальной машине, но продолжаю получать UnknownHostException. Как настроить доступ к BigQuery с помощью Hadoop Connector? package com.mycompany.dataproc; im