может выполняться нечеткий поиск и операции с нечеткой группировкой на фабрике данных azure

Question

Я новичок в фабрике данных. Некоторое время я работал над базой данных Azure SQL. До сих пор все операции преобразования данных (которые включают в себя данныеперемещение, обработка, изменение данных, нечеткая группировка и нечеткий поиск) выполняются вручную в моей системе через SSIS. Теперь мы хотим автоматизировать все пакеты. Для этого мы хотим запланировать эти пакеты на Azure. Я знаю, что Azure SQL не поддерживает SSIS, и кто-то предложил фабрику данных. Сообщите мне, может ли завод данных выполнить все мои требования, упомянутые выше. Заранее спасибо ...

Answer 1

Data Factory - это не традиционный инструмент ETL, а инструмент для организации, планирования и мониторинга конвейеров данных, которые составляют существующие службы хранения, перемещения и обработки. Когда вы преобразовываете данные в ADF, фактическое преобразование выполняется другой службой (сценарий Hive/Pig, запущенный на HDInsight, Azure Batch, USQL, работающий на Azure Data Lake Analytics, SQL Server Stored Proc и т. Д.), И ADF управляет и организует сложное планирование и облачные ресурсы. У ADF нет традиционных «из коробки» ETL-преобразований (например, нечеткий поиск). Вы можете написать свои собственные сценарии или пользовательский код .NET для своей бизнес-логики или запустить хранимые процедуры. Вы можете составить все это в повторяющийся запланированный конвейер (ы) данных и отслеживать все в одном месте.