Как скопировать azure blob-файлы в azure data lake analyticis

Question

Есть ли способ создать работу или лазурный сервис на Azure для перемещения (вырезания) файлов Azure blob в магазин Azure data lake store?

Answer 1

Я бы сказал, что Azure Data Factory подходит для этого. Он поддерживает планирование (https://docs.microsoft.com/en-us/azure/data-factory/data-factory-scheduling-and-execution) и поддерживает передачу данных из Blob в Azure Data Lake. Смотрите этот пример: https://docs.microsoft.com/en-us/azure/data-factory/data-factory-azure-datalake-connector

С сайта:

Factory Data представляет собой облачный сервис интеграции данных, дирижирует и автоматизирует перемещение и преобразование данных. Вы можете создавать решения для интеграции данных, используя службу Data Factory, которая может собирать данные из различных хранилищ данных, преобразовывать/обрабатывать данные и публиковать данные результатов в хранилища данных.

Служба Data Factory позволяет создавать конвейеры передачи данных, которые перемещают и преобразуют данные, а затем запускают конвейеры по указанному графику (почасово, ежедневно, еженедельно и т. Д.). Он также предоставляет богатые визуализации для отображения линий и зависимостей между вашими конвейерами данных и мониторинга всех ваших конвейеров данных из единого унифицированного представления, чтобы легко выявлять проблемы и настраивать оповещения о мониторинге.

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-introduction

Answer 2

Azure Data Lake Analytics услуга вычисления, а не хранилище данных.

работы

Data Lake Analytics может подключиться к данным на:

• озеро данных Магазин
• Azure Storage (Blob): см https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-manage-use-portal#manage-account-data-sources
• Другие источники через федеративные запросы: http://sqlblog.com/blogs/jorg_klein/archive/2016/06/17/setup-azure-data-lake-analytics-federated-u-sql-queries-to-azure-sql-database.aspx

Таким образом, вы можете либо оставить данные в хранилище blob, либо использовать Azure Data Factory, чтобы перенести его в Data Lake Store, чтобы иметь лучшую производительность Google Analytics и наслаждаться ее другие преимущества (см. https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview).