4
Я хочу выполнить запрос в лазурных данных ежедневно. Можем ли мы планировать запрос U-SQL в лазурном озере данных?Как запланировать запрос U-SQL в Azure Data Lake?
A
ответ
2
(Azure Data Lake Team, здесь)
В настоящее время не существует встроенный способ внутри данных Лэйк Analytics запланировать работу U-SQL. Вместо этого вы можете использовать другие службы или инструменты для выполнения планирования. Популярным для клиентов Azure является Azure Data Factory.
Простое планирование заданий U-SQL внутри Data Lake Analytics - это то, что мы рассматриваем как добавление в качестве собственной возможности.
Спасибо за ваш ответ. Я хочу ежедневно применять несколько преобразований по данным, которые присутствуют в озере лазурных данных. Я хочу создать из него новый файл. Но если я использую работу ADF, я не смогу применить преобразования. Я прав? – Jai
Jai, вы можете легко запустить задачу Data Lake Analytics в конвейере Data Factory. https://azure.microsoft.com/en-us/blog/creating-big-data-pipelines-using-azure-data-lake-and-azure-data-factory/ –
Я знаю, что я могу запланировать Data Lake Работа аналитики, которая будет принимать данные от озера Azure Data и скопировать ее где-нибудь. Я хочу запланировать работу, которая берет данные из лазурного озера данных и применяет некоторые преобразования поверх нее и создает новый файл в том же лазурном озере данных, которое содержит преобразованные данные. Но, по моему пониманию АПД, я не думаю, что могу применить какое-либо преобразование данных, вытаскивая его или подталкивая его к озеру данных Azure. Поскольку единственный способ, мы можем применить преобразование данных в Azure Data Lake, используя U-SQL, который я не могу использовать в конвейере ADF. – Jai