Получение «Файл не существует» ошибка при запуске задания Amazon EMR

Question

Я загрузил мои данные genotype1_large_ind_large.txt phenotype1_large_ind_large_1.txt

к системе S3, и в ЭМИ UI, я установить параметр как ниже

RunDear.run S3N: //scalability/genotype1_large_ind_large.txt S3N: //scalability/phenotype1_large_ind_large_1.txt S3N: // масштабируемость/output_1phe 33 10 4

В моем классе RunDear.run я буду распространять файл genotype1_large_ind_large.txt и phenotype1_large_ind_lar ge_1.txt в кэш

Однако после запуска ЭМИ, я получаю следующее сообщение об ошибке: java.io.FileNotFoundException: Файл не существует: /genotype1_large_ind_large.txt

Я задаюсь вопросом, почему есть слэш '/' перед именем файла? как заставить его работать?

Я также пытался использовать, как показано ниже, но моя программа будет принимать -cacheFile в качестве аргумента, таким образом, также не работает,

RunDear.run -cacheFile S3N: //scalability/genotype1_large_ind_large.txt#genotype. txt -cacheFile s3n: //scalability/phenotype1_large_ind_large_1.txt#phenotype.txt s3n: // scalability/output_1phe 33 280 4

Answer 1

Наконец-то я понял, что проблема заключается в использовании файловой системы, поэтому я добавляю код в программу например ниже FileSystem fs = FileSystem.get (URI.create ("s3: // масштабируемость"), conf);