2
Каков наилучший способ отправки данных из концентраторов событий в хранилище данных Lake Store?Подключить концентраторы событий Azure с хранилищем данных Lake
A
ответ
3
Один из способов - написать процесс для чтения сообщений из концентратора событий event hub API и записать их в хранилище данных. Data Lake SDK.
Еще одна альтернатива - использовать Steam Analytics для получения данных из Event Hub в Blob и Azure Automation для запуска powershell, который будет считывать данные из блоба и записывать данные в хранилище данных.
4
В дополнение к ответу Nava: вы можете запрашивать данные в контейнере хранения Windows Azure Blob с ADLA/U-SQL. Или вы можете использовать службу копирования Blob Store для ADL (см. https://azure.microsoft.com/en-us/documentation/articles/data-lake-store-copy-data-azure-storage-blob/).
5
Я предполагаю, что вы хотите регулярно получать данные из EventHubs в Data Lake Store. Как сказал Нава, вы можете использовать Azure Stream Analytics для получения данных из EventHub в Azure Storage Blobs. После этого вы можете использовать Azure Data Factory (ADF) для копирования данных по расписанию из Blobs в Azure Data Lake Store. Более подробную информацию об использовании АПД можно найти здесь: https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-datalake-connector/. Надеюсь это поможет.
Обновление от 17 марта 2016 года.
Поддержка Azure Data Lake Store в качестве выхода для анализа Azure Stream Analytics теперь доступна. https://blogs.msdn.microsoft.com/streamanalytics/2016/03/14/integration-with-azure-data-lake-store/. Это будет лучший вариант для вашего сценария.
Сэчин Шет
менеджер программы Azure Lake Data
2
Не принимая кредит для этого, но делиться с сообществом:
Также можно архивировать события (смотрите в свойствах \ архив), это оставляет бляшку Avro.
Затем с помощью AvroExtractor вы можете конвертировать записи в Json, как описано в сгустка Энтони: http://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/
0
Одним из способов было бы подключить EventHub к озеру данных с помощью функции захвата EventHub (озеро данных и Blob Storage в настоящее время поддерживается). Event Hub записывал в Data Lake каждые N минутный интервал или как только достигнут порог размера данных. Он используется для оптимизации операций записи «записи», поскольку они являются дорогостоящими в больших масштабах.
Данные хранятся в формате Avro, поэтому, если вы хотите запросить его с помощью USQL, вам придется использовать класс Extractor. Ури дал хорошую ссылку на него https://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/.