2017-02-21 21 views
2

При попытке развернуть проект ADF от визуальной студии к лазури, я получаю ошибку:об ошибке при попытке развернуть проект ADF с зависимостями

21.02.2017 13:03:32- Publishing Project 'MyProj.DataFactory'.... 
21.02.2017 13:03:32- Validating 10 json files 
21.02.2017 13:03:37- Publishing Project 'MyProj.DataFactory' to Data Factory 'MyProjDataFactory' 
21.02.2017 13:03:37- Starting upload of Dependency D:\Sources\MyProjDataFactory\Dependencies\ParseMyData.usql 

Зависимость является Azure Data Lake Analytics U-SQL скрипт.

Где хранятся зависимости в лазурном режиме?

UPDATE:

Когда я пытаюсь оркестровать U-SQL хранимая процедура вместо сценария визуальной студии валидатор trows мне ошибку сборки:

enter image description here

ответ

3

У вас есть несколько вариантов здесь.

1) Сохраните файл USQL в хранилище Azure Blob. В этом случае вам понадобится связанная служба на вашей фабрике Azure Data Factory с блоками. Затем загрузите файл вручную или добавьте файл в зависимости от проекта в Visual Studio для фабрики данных. К сожалению, это будет означать, что USQL становится статичным в проекте ADF и никоим образом не связан с вашим проектом ADL, поэтому будьте осторожны.

2) Самый простой способ - это просто привести USQL-код непосредственно в ADF JSON. Опять же, вам нужно вручную обновить код из проекта ADL.

3) Мой предпочтительный подход ... Создайте USQL как хранимую процедуру в службе Azure Data Lake Analytics. Затем укажите proc в JSON, используя [database]. [Schema]. [Procname]. Вы также можете передавать параметры proc из ADF. Например, временной срез. Это также предполагает, что у вас уже установлена ​​ADL как связанная служба в ADF.

Надеюсь, это поможет.

У меня есть блог о 3-й варианты и прохождения Params здесь, если ваш заинтересованный: http://www.purplefrogsystems.com/paul/2017/02/passing-parameters-to-u-sql-from-azure-data-factory/

Благодаря

+0

спасибо. Мне нравится третье решение. И это то, что я собираюсь использовать. Но просто для ясности. Не могли бы вы немного подробнее рассказать о первом варианте. Если я добавлю сценарий U-SQL в качестве зависимости в проекте VS для ADF и попытаюсь развернуть этот проект на Azure, я получаю сообщение об ошибке в отношении прав доступа, где он пытается сохранить зависимости? И с правами, которые мне нужно будет развернуть проект с зависимостями (он развертывается успешно без зависимостей). Спасибо. – churupaha

+0

Ваш прием. Хорошая точка зрения. В JSON-активности вам нужно использовать атрибут «scriptLinkedService», ссылаясь на некоторую связанную с памятью память. Это говорит ADF, где выгружать файл сценария из ваших зависимостей. Затем, в портале, перейдите в свои службы аналитики ADL и добавьте хранилище blob в качестве источников данных. А также хранилище ADL. Это дает ему доступ, необходимый для запуска USQL-файла. Ваши высокие голоса и отметка выше, как ваш вопрос ответ будет оценен. –

+0

Я проголосовал, но пока мои голоса невидимы. – churupaha