google-cloud-dataproc

1зной

2ответ

В Google Cloud Dataproc, где хранится весь журнал?

У меня есть работа PySpark, которую я распространяю через кластер из 1-го уровня, 3-работника. У меня есть несколько команд печати python, которые помогают мне отлаживать мой код. print(len(X_train),

0зной

1ответ

Почему google dataproc не вытаскивает банки coreNLP, хотя они включены в файл POM?

Мое приложение представляет собой проект java maven, в котором используется Spark. Вот раздел в моем П, который добавляет Стэнфорд coreNLP зависимостей: <dependency> <groupId>edu.stanford.nlp<

2зной

1ответ

Как разместить новые задания при запуске Spark on DataProc

Как можно отправить несколько работ в Google Dataproc (PySpark) и поставить в очередь задания, которые не соответствуют текущим исполнителям? Только подачи заданий не работает для массового обслуживан

0зной

1ответ

Как получить доступ к Cloud SQL из dataproc?

У меня есть кластер dataproc, и я хотел бы, чтобы кластер получил доступ к экземпляру Cloud SQL. Когда я создал кластер, я назначил область --scopes sql-admin, но после чтения Cloud SQL documentation

3зной

1ответ

Как исследовать неудачные процессы обработки данных?

У меня работает работа PySpark, и у меня возникают проблемы с определением причины сбоя в рабочих процессах. В то время как моя работа бежит я начал замечать трассировки стека на выходе задания, такие

0зной

1ответ

Как получить работу DataprocId в задании PySpark

Я запускаю несколько пакетных заданий, и я хотел бы ссылаться на jobId из dataproc на сохраненные выходные файлы. Это позволит иметь все журналы для аргументов и результатов, связанных с результатами.