EMR создает 0 байт файлов при использовании HDFS's moveFromLocalFile API

Question

Я использую EMR для перемещения папки из локальной файловой системы в S3 в Spark с использованием fs.moveFromLocalFile API. Все работает отлично, за исключением 0-байтового файла, созданного EMRFS с именем папки $ _ $ folder для загружаемой папки EVERY.

Есть ли способ перемещения папок без создания этого фиктивного файла для каждой папки? (кроме ручного удаления этого файла). Кроме того, почему создается этот фиктивный файл? В настоящее время я использую протокол s3: //, рекомендованный командой EMR.

Answer 1

Мой опыт в том, что функция mkdir(), обычно называемая локальными файловыми системами или hdfs, приведет к созданию пустого файла s3 с именем папки mkdir и добавлением _ $ folder $. В S3 нет понятия «пустая папка», потому что у вас не может быть ключа (pathname) с нулевым значением (файл).

В идеальном мире mkdir (s3: // bucket/path) должен быть noop.

Answer 2

Не знаю, что такое EMR fs; это похоже на то же расширение, используемое клиентом S3n. Эти файлы удаляются в клиенте при перечислении/статировании путей.

ASF S3a создает один с суффиксом «/».