Wildcards для входов Azure Data Lake Магазин в Factory Data

Question

Я ищу в документации Microsoft по moving data to and from an Azure Data Lake Store и устанавливающее следующее о fileName собственности:

Имя файла в хранилище Azure озера данных. fileName не является обязательным и учитывает регистр. Если указать имя файла, активность (в том числе копирования) работает на конкретный файл.»

То, что я не вижу здесь никакого упоминания о подстановочных знаков. Как я могу идти об использовании, например, не все файлы в папке, но только те, соответствующие 2017-foo-*.json? Я попробовал звездочку, но это, кажется, буквально.

Answer 1

в зависимости от источника и раковины, вы можете быть в состоянии использовать fileFilter свойство вместо FileName использовать например, цитата из here:

Допустимые значения: * (несколько символов) и? (одиночный символ).

Пример 1: "FileFilter": "* .log"

Пример 2: "FileFilter": 2014-1 - ?. TXT»

Обратите внимание, что FileFilter применим для входного набора данных Обменник .

Этот пример для по-прем Обменник:

{ 
    "name": "InputDataset-AllFiles", 
    "properties": { 
     "published": false, 
     "type": "FileShare", 
     "linkedServiceName": "OnPremisesFileServerLinkedService", 
     "typeProperties": { 
      "fileFilter": "*.txt", 
      "folderPath": "." 
     }, 
     "availability": { 
      "frequency": "Day", 
      "interval": 1 
     }, 
     "external": true, 
     "policy": {} 
    } 
} 

Я не уверен, что это Prope rty доступен для других типов, таких как хранение памяти, данные о озерах и т. д. Можете ли вы подтвердить свой источник и раковину (при условии, что одним из них является озеро данных)?

Дополнительная информация доступна здесь:

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

Polybase now supports ADLS, чтобы вы могли перемещать данные таким образом без этих ADF махинаций.