Я хотел бы настроить трубопровод Azure Data Factory, который выполняет операцию перемещения (то есть копирования, проверки, удаления), а не только операцию копирования между хранилищем Blob и данными Озерный магазин. Кажется, я не могу найти подробностей о том, как это сделать.Перемещение - не копирование - данные в Azure Data Factory
ответ
Azure Data Factory не имеет встроенного действия или опции для перемещения файлов, а не для копирования. Однако вы можете сделать это с помощью Custom Activity.
This example на GitHub показывает, как сделать это с помощью Azure Blob:
...
blob.DeleteIfExists();
...
https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity
Если вы чувствуете, что это важная особенность, пожалуйста, добавьте запрос обратной связи:
Довольно болезненно, что для этого требуется, чтобы я создал DLL ... Я отдам это, хотя, спасибо. – Sam
Рассмотрите возможность запроса функции и отправьте ссылку здесь. Я проголосую за него, плюс другие посадки на странице тоже могут. Также, если вы получаете некоторый код, работая, не стесняйтесь публиковать его и отмечать как ответ самостоятельно; Я думаю, что это было бы действительно полезно. – wBob
Из команды продуктов на ADF здесь. Хотя мы работаем над «Удалить» в качестве активности первого класса в ADF, мы опубликовали образец в Github о том, как пользователи могут удалять файлы (в данном случае Azure Blob) после их копирования с использованием операции копирования ADF.
https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity
Это возможно с помощью пользовательских .Net деятельности АПД. Образец демонстрирует следующее:
- файл C#, который может использоваться как часть пользовательской. AD-активности для удаления определенных блоков или всей папки.
- Пользователям необходимо предоставить список наборов данных Azure Blob для удаления в виде списка с разделителями-запятыми в расширенном свойстве 'inputToDelete' в конвейере json. В результате пользовательской активности .Net будет получен набор свойств FolderPath и filename. Если FolderPath указан только, он удалит все содержимое папки blob.
Содержание репо Github:
- DeleteFromBlobActivity.cs - C# файл, который будет использоваться как часть деятельности ADF Пользовательские .Net для удаления BLOb Folders
- PipelineSample.json - Витрины, как вызвать ADF Custom .Net удалить blob-активность. Замените заполнители, соответствующие именам наборов данных, расписанию и связанным службам в образце конвейера json.
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-data-movement-activities – ppasler
MS документы злоупотребляют «шаг», означает «копию», я имею прочитайте ссылку, которую вы опубликовали. – Sam