Процессор Nifi ListS3 не возвращает полный путь для файлов, хранящихся в S3

Question

Я использую процессор ListS3 для получения файлов от S3 и прокладывания его в процессор RouteOnAttribute. Оттуда я использую Route to Property name как Routing Strategy и назначая базы свойств, на которых хранятся файлы, которые я слушаю.

Я могу видеть все файлы, которые я хочу, но ничего не могу с ними поделать, потому что мой другой процессор по линии нуждается в full path этих файлов. Я использую скрипт python, который принимает file path как аргументы строки cmd.

Как извлечь полный абсолютный путь к файлам из S3?

Answer 1

Вы можете перечислить, загружать и сохранять S3 файлы локально, используя последовательность процессоров Nifi как следующее:

1. ListS3 - получить ссылки на S3 объекты, которые вы можете выбирать. Выход из ListS3 содержит только ссылки на объекты, а не само содержание, в атрибутах:

   • s3.bucket - имя ведра, как my-bucket
   • файла - ключ объекта, как path/to/file.txt

2. FetchS3Object - для загрузки содержимого объекта из S3 с помощью ведра и ключ от ListS3 выше.

3. PutFile - хранить файл локально. Укажите свойство Directory, где вы хотите, чтобы файлы были размещены /path/to/directory. filename атрибуты из S3 будут содержать относительные пути от ключей S3, поэтому они будут добавлены к Directory по умолчанию.

Вы можете собрать локальные пути для вашего сценария Python с использованием Nifi языка выражений:

/path/to/directory/${filename}