google-cloud-dataproc

0зной

1ответ

Управление зависимостями на python с искрою на google cloud dataproc

Я написал скрипт Spark, который зависит от six и различных других пакетов python. $ cat ./test_package/__init__.py from six.moves.urllib.request import urlopen def download_size(url): return l

0зной

1ответ

google-fluentd: изменить серьезность в облачном протоколе log_level

Мы работаем с искровыми работами (партия искровых потоков) в облачных Dataproc-кластерах Google. Мы используем облачную регистрацию для сбора всех журналов, созданных работами искры. В настоящее время

2зной

1ответ

Прочтите от BigQuery в Spark эффективным способом?

При использовании BigQuery Connector для чтения данных из BigQuery я обнаружил, что сначала он копирует все данные в Google Cloud Storage. Затем он считывает эти данные параллельно в Spark, но при чте

3зной

1ответ

Как получить путь к загружаемому файлу

Я запускаю искровой кластер в облаке Google, и я загружаю файл конфигурации с каждым заданием. Каков путь к файлу, который загружается командой отправки? В следующем примере, как я могу прочитать файл

0зной

1ответ

статус пряжи от клиента dataproc - почему он всегда является объектом списка?

Мы искровые задания выполняются на dataproc кластере с пряжей - у нас также есть программа-оболочка в питона, которая делает постоянный опрос для статуса задания, и мы проводим мониторинг состояния ра

0зной

1ответ

искровой оболочка и sparkR в Google DataProc

Я новичок в Google DataProc Мы хотим запустить набор кода с помощью искровой оболочки или sparkR для целей тестирования. Возможно ли подключиться к искровому коммутатору и выполнить команды в искровой

0зной

1ответ

Запуск пользовательских искра построить на Dataproc?

Можно ли скомпилировать и создать пользовательскую Apache Spark в Google Cloud Dataproc? Допустим, мы хотим настроить Apace Spark, а затем хотим создать пользовательскую Spark на dataproc.