Как загрузить данные Azure SQL Data Warehouse, хранящиеся в JSON в Azure Blobs?

Question

У меня есть куча данных, хранящихся в файле JSON в Azure Blobs. Я хочу загрузить их в Azure SQL Data Warehouse, но Azure SQL Data Warehouse, похоже, не принимает входные файлы JSON.

Каков наилучший подход?

Solutions Я посмотрел:

1) Использование Azure Factory Data с пользовательской деятельности (например https://github.com/Azure/azure-content/blob/master/articles/data-factory/data-factory-use-custom-activities.md) Но, кажется, немного «над головой», чтобы закрутить кластер HDInsight для этого (а также я предпочитаю использовать JavaScript, а не C#).

2) Написав api-приложение Azure (или настраиваемый код), чтобы преобразовать файл в CSV, а затем записать сценарий внешней таблицы, чтобы загрузить его в хранилище данных Azure SQL, затем удалите CSV-файл. Я не уверен, что мне нужно сохранить этот CSV-файл для последующего использования.

Любые лучшие предложения?

Answer 1

Вы можете использовать Azure Factory Data для преобразования данных JSON двоичных объектов в CSV-файл, а затем вставить в Azure SQL хранилища данных.

В вашем конвейере будет одна операция копирования, одна json AzureBlob Набор данных и один AzureSqlDWTable.

Важно, чтобы вы добавили a column mapping with translator rules в операцию «Копировать».

Answer 2

Я предпочел бы второй вариант. Работы Azure Web кажутся хорошим вариантом. Он работает в той же среде, что и Web Apps. Вы можете просто закрепить папку, в которой есть консольное приложение, сценарий PowerShell или сценарий bash и его зависимости, и планировать его как пакет или запускать его непрерывно. Если вы находитесь в C#, вы можете даже использовать в Azure SDK 1.1 для обработки сгустков в виде потоков: https://azure.microsoft.com/en-us/documentation/articles/websites-dotnet-webjobs-sdk-storage-blobs-how-to/