Может Azure Data Factory написать на FTP

Question

Я хочу написать вывод конвейера в папку FTP. ADF, похоже, поддерживает локальный файл, но не папку FTP.

Как написать вывод в текстовом формате в папку FTP?

Answer 1

К сожалению, FTP-серверы не являются хранилищем данных для ADF на данный момент. Поэтому нет способа OOTB взаимодействовать с FTP-сервером для чтения или записи.

Однако вы можете использовать пользовательские действия, чтобы сделать это возможным, но для этого потребуется какая-то специальная разработка. Один архитектор Cloud Solution Architect из MS собрал сообщение в блоге, в котором говорится о том, как он сделал это для одного из своих клиентов. Пожалуйста, обратите внимание на следующее:

https://blogs.msdn.microsoft.com/cloud_solution_architect/2016/07/02/creating-ftp-data-movement-activity-for-azure-data-factory-pipeline/

Я надеюсь, что это помогает.

Answer 2

После думать об этом вы могли бы добиться того, что вы хотите в слегка извилистый путь, написав вывод на счет хранения Azure Blob, а затем либо

1) вручную: загрузка и толкая файл в «FTP» с учетной записи хранилища Blob или 2) автоматически: используя Azure CLI, вытащите файл локально, а затем нажмите его на сайт «FTP» со сценарием пакетной или командной строки, если необходимо

Answer 3

В качестве подхода с более легким весом к индивидуальной деятельности (безусловно, лучший вариант для тяжелой работы).

Возможно, вы захотите рассмотреть возможность использования функций azure для записи на ftp (обратите внимание, что при использовании план потребления - не в других планах, так что это будет зависеть от того, насколько велики файлы).

https://docs.microsoft.com/en-us/azure/azure-functions/functions-create-storage-blob-triggered-function

Вы можете поручить завод данных для записи в посреднической хранилище больших двоичных объектов. И используйте триггеры хранения blob в лазурных функциях, чтобы загрузить их, как только они появятся в хранилище blob.

Или, альтернативно, напишите в хранилище blob. А затем используйте таймер в логических приложениях для загрузки из памяти blob в ftp. Приложения Logic скрывают огромную мощность, поддерживаемую дружественным внешним видом.