google-cloud-dataproc

2зной

1ответ

spark-sql on google dataproc from sbt scala

Используя кластер Google Dataproc Spark, моя сборная сборка sbt может получить доступ к Cassandra через SparkContext. Однако, когда я пытаюсь получить доступ через sqlContext, я получаю классы искры s

7зной

1ответ

Неправильное распределение памяти для пряжи/искры после автоматической настройки кластера Dataproc

Я пытаюсь запустить задания Spark в кластере Dataproc, но Spark не запускается из-за неправильной настройки пряжи. Ошибка при запуске «искровой оболочки» из оболочки (локально на главном компьютере),

1зной

2ответ

Чрезвычайно медленная обработка на Dataproc 9 часов против 3 минут на локальной машине

Из журнала я вижу, что есть 182k строк 70MB. Требуется 1,5 часа нагрузки 70 МБ данных и 9 часов (началось 15/11/14 01:58:28 и закончилось в 15/11/14 09:19:09), чтобы тренировать 182 тыс. Строк в Datap

2зной

1ответ

Конфигурация отказоустойчивости pySpark

Я выполняю длительные рабочие задания (+ 3 часа) на большом искровом кластере в режиме пряжи. Работники виртуальной машины, работающие на искры, размещаются в облаке Google Dataproc, и большинство из

0зной

1ответ

Использование Presto в облачном Dataproc с Google Cloud SQL?

Я использую как Hive, так и MySQL (через Google Cloud SQL), и я хочу использовать Presto для подключения к легкому. Я видел, что для Cloud Dataproc есть Presto initialization action, но он не работает

6зной

1ответ

Проблемы с конфигурацией Google Cloud Dataproc

Я столкнулся с различными проблемами в некоторых моделях темы Spark LDA (в основном, ошибки диссоциации в кажущиеся случайными интервалами) Я работал, что, по-моему, в основном связано с недостаточным

2зной

1ответ

Использование BigQuery Connector с искрой

Я не получаю пример Google работает https://cloud.google.com/hadoop/examples/bigquery-connector-spark-example PySpark Есть несколько ошибок в коде я думаю, как: «# Выходные параметры 'mapred.bq.projec