google-cloud-dataproc

1зной

1ответ

У меня есть 100 файлов npz, содержащих numpy массивы в хранилище google. У меня есть установка dataproc с jupyter, и я пытаюсь прочитать все массивы numpy в искровом RDD. Каков наилучший способ загруз

0зной

1ответ

Как вы делаете hadoop fs -getmerge на dataproc из хранилища Google

Как вы используете getmerge для dataproc для файлов деталей, которые сбрасываются в ведро хранилища Google. Если я пытаюсь это hadoop fs -getmerge gs://my-bucket/temp/part-* gs://my-bucket/temp_merged

0зной

1ответ

Dataproc Jupyter проблема инициализации Связующий адрес используется

я был в состоянии развернуть кластер на dataproc и включить сценарий jupyter.sh инициализации, но после открытия SSH терминала к главному узлу и выполнить команду (при подставляя свои значения) gcloud

2зной

1ответ

Получение выходных данных из искровых работников в облаке Google

Я запускаю искровое задание в кластере google, и я пытаюсь получить некоторую информацию о регистрации во время процесса карты RDD. Быстрый пример: object LoggerWrapper extends Serializable{ @tra

0зной

1ответ

Есть ли преимущества использования BigQuery в качестве источника данных ndarrays для Dataproc при вычислении кластеризации kmeans с использованием python

Насколько я понимаю из документации для Dataproc, ее можно читать данные из BigQuery с помощью pyspark, но есть ли преимущество при запуске kmeans кластеризации на ndarrays с формой (xxxxxxx), говорят

1зной

1ответ

Как отправить уведомление о предупреждении о неудачной работе в Google Dataproc?

Мне интересно, есть ли способ подключить некоторые уведомления о заданиях, представленных в Dataproc. Мы планируем использовать Dataproc для запуска потокового приложения 24/7. Но у Dataproc, похоже,

3зной

2ответ

Пропускная способность для Kafka, Spark, Elasticsearch Stack on GCP/Dataproc

Я работаю над исследовательским проектом, где я установил полный конвейер анализа данных на Google Cloud Platform. Мы оцениваем уникальных посетителей на каждый URL в режиме реального времени, использ

3зной

4ответ

ImportError: Нет модуля с именем numpy - Google Cloud Dataproc при использовании Jupyter Notebook

При запуске Jupyter Notebook на Google Dataproc импорт модулей не работает. Я попытался установить модули с помощью разных команд. Некоторые примеры: import os os.sytem("sudo apt-get install python-n

1зной

2ответ

Управление google dataproc preemptible-workers постоянным размером диска

Я использую jupyter для кластера, созданного с помощью google dataproc, и он работает очень хорошо. Я попытался сменить кластер «размер» (тип машины, размер загрузочного диска, количество рабочих, ...

2зной

1ответ

KeyError: «SPARK_HOME» в pyspark на Jupyter в Google-Cloud-DataProc

При попытке показать SparkDF (Test) я получаю KeyError, как показано ниже. Возможно, что-то пошло не так в функции, которую я использовал до Test.show(3). KeyError говорит: KeyError: «SPARK_HOME». Я п