Прочитайте новые пути файла s3 от искрового потока

Question

Я бы хотел использовать искрообразование для мониторинга каталога s3 и возврата пути к любым новым файлам, которые добавлены в этот каталог. Ни textFileStream, ни fileStream, похоже, не могут этого сделать. Есть ли способ сделать то, что я хотел бы сделать?

Редактировать: Spark ver. 2.1.0

Answer 1

Он делает это с использованием s3a: //; У меня есть тесты, чтобы доказать это.

1. установить достаточно большое окно, чтобы справиться с задержками при сканировании каталога и очистить его.
2. вы можете написать прямо в целевой каталог «; нет необходимости писать, а затем переименовывать. Если вы это сделаете: файлы будут скопированы и заберут окно.
3. не попробовать контрольно-пропускной пункт там