azure data factory - выполнение полного IDL для первого фрагмента

Question

Я работаю над установкой данных POC для замены существующего решения интеграции данных, которое загружает данные из одной системы в другую. Существующее решение извлекает все доступные данные до настоящего момента, а затем в последовательных запусках извлекает новые/обновленные данные, которые изменились с момента последнего запуска. В основном IDL (начальная загрузка данных) сначала, а затем обновляется.

Завод данных работает несколько схожим образом и извлекает данные в срезах. Однако мне нужно, чтобы первый фрагмент включал все данные с начала времени. Я мог бы сказать, что время начала проекта - «начало времени», но это создало бы слишком много срезов.

Например, я хочу, чтобы он работал ежедневно и ежедневно получал приращения. Но я хочу извлечь данные за последние 10 лет. Я не хочу иметь 3650 кусочков, чтобы догнать. Я хочу, чтобы первый срез имел параметр WindowStart, переопределенный и заданный в какой-то заранее определенной точке в прошлом. А затем последовательные срезы для использования обычного временного интервала WindowStart-WindowEnd.

Есть ли способ сделать это?

Спасибо!

Answer 1

Как насчет создания двух конвейеров, один из которых «запускается один раз», который передает все исходные данные, а затем клонирует его, поэтому вы копируете все наборы данных и ссылки на ссылки на ссылки в конвейере. Затем добавьте к нему расписание и SQL-запрос для извлечения только новых данных, в которых используются переменные даты? Вам понадобится что-то подобное во втором трубопроводе:

"source": 
{ 
    "type": "SqlSource", 
    "SqlReaderQuery": "$$Text.Format('SELECT * FROM yourTable WHERE createdDate > \\'{0:yyyyMMdd-HH}\\'', SliceStart)" 
}, 
"sink": 
{ 
    ... 
} 

Надеюсь, что имеет смысл.