Создайте EMR 5.3.0 с EMRFS (ведро s3) как хранилище

Question

Я пытаюсь создать EMR 5.3.0 с EMRFS (ведро S3) в качестве хранилища. Просьба представить общее руководство по этому вопросу.

В настоящее время я использую ниже команд для создания ЭХ 5.3.0 с InstanceType = m4.2xlarge.Which работает нормально, но с EMRFS как хранение я не в состоянии сделать

aws emr create-cluster --name "DEMAPAUR001" --release-label emr-5.3.0 --service-role EMR_DefaultRole_Private --enable-debug --log-uri 's3n://xyz/trn' --ec2-attributes SubnetId=subnet-545e8823, KeyName=XXX --applications Name=Hbase Name=Hive Name=Pig Name=Ganglia --configurations '[{"Classification":"hdfs-site","Properties": {"dfs.replication":"2"},"Configurations":[]}]' --instance-groups
'InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m4.2xlarge, EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification= {VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' 'InstanceGroupType=CORE, InstanceCount=1,InstanceType=m4.2xlarge,EbsConfiguration={EbsOptimized=true, EbsBlockDeviceConfigs=[{VolumeSpecification={VolumeType=io1,SizeInGB=500,Iops=200},VolumesPerInstance=1}]}' --tags Name=DEMAPAUR001 Owner="XXX" Division=Corporate Application=DEM-EMR Environment=TRN CostCenter=XXX123 CreatedBy=XXX ManagedBy=XXX Availability=24x7_Mon-Fri Backup=NA

Пожалуйста, помогите мне в этом.

Answer 1

При запуске кластера в конфигурации можно использовать следующую классификацию.

Для включения согласованного представления

{ "Классификация": "emrfs-сайт", "Свойства": { "fs.s3.consistent": "истинный" }}

Кроме того, если вы действительно хотите, чтобы улей указывал на S3 и сохранил все новые файлы там, вам придется добавить эту классификацию к hive-site.xml

{ «Классификация»: «hive- сайт», "Свойства": { "hive.metastore.warehouse.dir": self.hive_warehouse_dir }}