Управление google dataproc preemptible-workers постоянным размером диска

Question

Я использую jupyter для кластера, созданного с помощью google dataproc, и он работает очень хорошо.

Я попытался сменить кластер «размер» (тип машины, размер загрузочного диска, количество рабочих, ...), чтобы соответствовать моим потребностям, и он работает очень хорошо.

Основная проблема заключается в том, что я не могу изменить размер постоянного диска для превентивных работников.

Я использую эту команду:

gcloud dataproc clusters create jupyter --project <my_project> --initialization-actions gs://dataproc-initialization-actions/jupyter/jupyter.sh --num-preemptible-workers 0 --master-boot-disk-size 25 --worker-boot-disk-size 10 --worker-machine-type n1-standard-1 --worker-boot-disk-size 10 

Я надеялся, что вариант «--worker-boot-disk-size 10» был бы применен также Preemptible те, но это не так.

Итак, есть ли способ изменить размер загрузочного диска превентивных работников?

Кроме того, будет ли Google взимать плату за использование постоянным диском с предохраняемым персоналом?

Answer 1

Бета-канал dataproc gcloud предлагает --prefixible-worker-boot-disk-size, который походит на то, что вы хотите.

Например:

gcloud beta dataproc clusters create ... --preemptible-worker-boot-disk-size 500GB 

Объявлено здесь: https://cloud.google.com/dataproc/release-notes/service#july_1_2016

Начиная с версии september_16_2016, --preemptible-рабоче-загрузочный диск размера можно использовать без создания каких-либо Preemptible виртуальных машин: https://cloud.google.com/dataproc/docs/release-notes/service#september_16_2016

Answer 2

Обратите внимание: вы можете использовать «--prefixible-worker-boot-disk-size» только при создании кластера. При создании кластера, а затем использовать

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 

нового Preemptible istances будет иметь 100GB персистирующего размера диска. Если вы пытаетесь с:

gcloud dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

или

gcloud beta dataproc clusters update jupyter --project <my_project> --num-preemptible-workers 50 --preemptible-worker-boot-disk-size 10 

он не будет работать.