Как настроить приложения в AMI 4

Question

The documentation говорит

В Amazon EMR высвобождает 4.0 и выше, единственным приемлемым параметром является имя приложения. Чтобы передать аргументы приложениям, вы предоставляете конфигурацию для каждого приложения.

Но я не могу найти пример, показывающий, как передавать аргументы в ami 4. Все, что я могу найти, это примеры настройки экспорта, например, ниже. Я пытаюсь выяснить, как установить версию Spark для использования.

[ 
     { 
     "Classification":"hadoop-env", 
     "Properties":{ 

     }, 
     "Configurations":[ 
      { 
       "Classification":"export", 
       "Properties":{ 
        "HADOOP_USER_CLASSPATH_FIRST":"true", 
        "HADOOP_CLASSPATH":"/path/to/my.jar" 
       } 
      } 
     ] 
     } 
    ] 

Answer 1

Вы не можете установить произвольную версию Spark для использования, как вы могли, с версиями AMX 3.x. Скорее, версия Spark (и других приложений, конечно) определяется ярлыком релиза. Например, последняя версия в настоящее время emr-5.2.1, включающая Spark 2.0.2. Если вам нужна версия Spark 1.x, последней версией является Spark 1.6.3 на выпуск emr-4.8.3.