google-cloud-dataproc

1зной

1ответ

Невозможно импортировать pyspark в кластере dataproc на GCP

Я просто установил кластер на Google Cloud Platform, чтобы запустить некоторые задания pyspark. Первоначально я использовал ipython.sh (из репозитория github) в качестве сценария инициализации для кла

1зной

1ответ

Что такое «узел обработки» на Dataproc?

Dataproc documentation говорит, что превентивные виртуальные машины присоединены только как обрабатывающие узлы. Что такое узел обработки?

0зной

1ответ

Изменение учетной записи службы на google dataproc

Документация Google гласит, что при создании кластера данных он использует учетную запись службы по умолчанию для проектов. источник: https://cloud.google.com/sdk/gcloud/reference/beta/dataproc/cluste

1зной

1ответ

Работа с искрой стала несовместимой с Google Dataproc

У меня есть этот код, который работал отлично в течение нескольких месяцев и прекратил работу около 2 месяцев назад с Google Dataproc, хотя я не изменил ни одной строки. я мог воспроизвести ошибку с п

0зной

1ответ

Поддерживает ли Cloud Dataproc высокую доступность?

Я обеспокоен тем, что наличие единственного главного узла для кластера Google Cloud Dataproc может ввести одну точку отказа. Я бы хотел, чтобы мой кластер был (более) устойчивым в случае неожиданного

2зной

1ответ

Загрузка файлов из Google Storage с использованием Spark (Python) и Dataproc

У меня есть приложение, которое распараллеливает выполнение объектов Python, которые обрабатывают данные, которые будут загружаться из Google Storage (мой проект). Кластер создается с помощью Google D

0зной

1ответ

Google облако хранения - разделение файлов по значению в файле

Мне нужно прочитать файл из хранилища Google Cloud и разделить его на несколько файлов на основе transaction_date, который является полем в файле. Размер файла составляет около 6 ТБ (разбит на несколь

0зной

1ответ

Hive выберите запрос потерпел неудачу на ORC таблице

Исключение: Failed исключением java.io.IOException: java.io.IOException: Как-то чтения -1 байт пытается пропустить больше 6257 байт стремиться позиционировать 6708, размер: 1290047 Есть ли у кого-нибу

1зной

1ответ

Dataproc неспособность установить oozie пакет

Я пытаюсь ниже команды на Google Cloud dataproc: apt-get install oozie-client Но dataproc не в состоянии перечислить пакет oozie в хранилище. ошибка: [email protected]<master>:#> apt-get install ooz