Spark: Как увеличить размер диска в ведомых устройствах

Question

Как начать кластер с ведомыми устройствами, каждый из которых имеет накопитель на 100 ГБ.

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ 
--zone=us-east-1b --spark-version=1.6.1 \ 
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \ 
launch cluster-test 

Я использовал AMI, который имел размер 100GB; Тем не менее, Spark изменил его размер и запустил 8-гигабайтный диск. Как увеличить этот предел до 100 ГБ?

Answer 1

Это решает проблему, но вопрос по-прежнему ищет ответа, чтобы избежать этой проблемы в первую очередь.

Оказывается, объем EBS составляет 100 ГБ, но изображение на нем составляет всего 8 ГБ. Вот почему это видно только как 8 ГБ. Чтобы распространить изображение на диске, этот blog подробно описывает, как это сделать. Кроме того, это полезно и для SO answer.