google-cloud-dataproc

2зной

2ответ

Несколько заданий Google-потока данных и данных-данных

У меня есть несколько заданий для потока данных Google для сбора данных и целей ETL. , а затем google dataproc job (Spark) для дальнейшего машинного обучения. Я хотел бы связать эти задания вместе, ка

0зной

1ответ

Интеграция Google Dataproc и BigQuery с пользовательским запросом

Я запускаю искровой кластер с использованием Google dataproc. Я хотел бы получить данные из большого запроса, используя пользовательский запрос. Я могу запустить основной пример подсчета слов, но я ищ

0зной

1ответ

Dataproc bdutil versioning

Можно установить hadoop cluster image version с помощью инструмента командной строки bdutil? Использование консоли WebUI или GCloud позволяет выбрать версию изображения 1.0, которая поддерживает Hadoo

0зной

1ответ

Google Cloud Спарк ElasticSearch TransportClient соединение исключение

Я использую искру на Google Cloud и у меня есть следующий код для подключения к базе данных Elasticsearch import org.elasticsearch.action.search.SearchResponse; import org.elasticsearch.client.transp

0зной

1ответ

pyspark не удалось в google dataproc

Моя работа не удалась со следующими журналами, однако я не совсем понимаю. Это, по-видимому, вызвано "YarnSchedulerBackend$YarnSchedulerEndpoint: Container killed by YARN for exceeding memory limits.

3зной

1ответ

Исправленные потоки данных в Dataproc, испытывающие внезапные частые таймауты сокетов

Я использую Spark streaming для Google Cloud Dataproc для выполнения фреймворка (написанного на Python), который состоит из нескольких непрерывных конвейеров, каждый из которых представляет собой одно