2017-01-19 14 views
1

Я хотел бы настроить трубопровод Azure Data Factory, который выполняет операцию перемещения (то есть копирования, проверки, удаления), а не только операцию копирования между хранилищем Blob и данными Озерный магазин. Кажется, я не могу найти подробностей о том, как это сделать.Перемещение - не копирование - данные в Azure Data Factory

+0

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-data-movement-activities – ppasler

+0

MS документы злоупотребляют «шаг», означает «копию», я имею прочитайте ссылку, которую вы опубликовали. – Sam

ответ

0

Azure Data Factory не имеет встроенного действия или опции для перемещения файлов, а не для копирования. Однако вы можете сделать это с помощью Custom Activity.

This example на GitHub показывает, как сделать это с помощью Azure Blob:

... 
blob.DeleteIfExists(); 
... 

https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity

Если вы чувствуете, что это важная особенность, пожалуйста, добавьте запрос обратной связи:

https://feedback.azure.com/forums/270578-data-factory

+1

Довольно болезненно, что для этого требуется, чтобы я создал DLL ... Я отдам это, хотя, спасибо. – Sam

+1

Рассмотрите возможность запроса функции и отправьте ссылку здесь. Я проголосую за него, плюс другие посадки на странице тоже могут. Также, если вы получаете некоторый код, работая, не стесняйтесь публиковать его и отмечать как ответ самостоятельно; Я думаю, что это было бы действительно полезно. – wBob

1

Из команды продуктов на ADF здесь. Хотя мы работаем над «Удалить» в качестве активности первого класса в ADF, мы опубликовали образец в Github о том, как пользователи могут удалять файлы (в данном случае Azure Blob) после их копирования с использованием операции копирования ADF.

https://github.com/Azure/Azure-DataFactory/tree/master/Samples/DeleteBlobFileFolderCustomActivity

Это возможно с помощью пользовательских .Net деятельности АПД. Образец демонстрирует следующее:

  • файл C#, который может использоваться как часть пользовательской. AD-активности для удаления определенных блоков или всей папки.
  • Пользователям необходимо предоставить список наборов данных Azure Blob для удаления в виде списка с разделителями-запятыми в расширенном свойстве 'inputToDelete' в конвейере json. В результате пользовательской активности .Net будет получен набор свойств FolderPath и filename. Если FolderPath указан только, он удалит все содержимое папки blob.

Содержание репо Github:

  • DeleteFromBlobActivity.cs - C# файл, который будет использоваться как часть деятельности ADF Пользовательские .Net для удаления BLOb Folders
  • PipelineSample.json - Витрины, как вызвать ADF Custom .Net удалить blob-активность. Замените заполнители, соответствующие именам наборов данных, расписанию и связанным службам в образце конвейера json.