Я двигаюсь от Python Pandas до Spark. У меня есть сценарий Python на S3, Как я могу создать кластер с aws emr create-cluster для запуска этого Python скрипт как шаг, как я с Pig или улья?
Мы пытались использовать проект spark-redshift, следуя третьей рекомендации по предоставлению учетных данных. А именно: IAM профили экземпляра: Если вы работаете на EC2 и аутентификации на S3 с помощь