2015-12-30 17 views

ответ

3

Один из способов - написать процесс для чтения сообщений из концентратора событий event hub API и записать их в хранилище данных. Data Lake SDK.

Еще одна альтернатива - использовать Steam Analytics для получения данных из Event Hub в Blob и Azure Automation для запуска powershell, который будет считывать данные из блоба и записывать данные в хранилище данных.

5

Я предполагаю, что вы хотите регулярно получать данные из EventHubs в Data Lake Store. Как сказал Нава, вы можете использовать Azure Stream Analytics для получения данных из EventHub в Azure Storage Blobs. После этого вы можете использовать Azure Data Factory (ADF) для копирования данных по расписанию из Blobs в Azure Data Lake Store. Более подробную информацию об использовании АПД можно найти здесь: https://azure.microsoft.com/en-us/documentation/articles/data-factory-azure-datalake-connector/. Надеюсь это поможет.

Обновление от 17 марта 2016 года.

Поддержка Azure Data Lake Store в качестве выхода для анализа Azure Stream Analytics теперь доступна. https://blogs.msdn.microsoft.com/streamanalytics/2016/03/14/integration-with-azure-data-lake-store/. Это будет лучший вариант для вашего сценария.

Сэчин Шет

менеджер программы Azure Lake Data

2

Не принимая кредит для этого, но делиться с сообществом:

Также можно архивировать события (смотрите в свойствах \ архив), это оставляет бляшку Avro.

Затем с помощью AvroExtractor вы можете конвертировать записи в Json, как описано в сгустка Энтони: http://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/

0

Одним из способов было бы подключить EventHub к озеру данных с помощью функции захвата EventHub (озеро данных и Blob Storage в настоящее время поддерживается). Event Hub записывал в Data Lake каждые N минутный интервал или как только достигнут порог размера данных. Он используется для оптимизации операций записи «записи», поскольку они являются дорогостоящими в больших масштабах.

Данные хранятся в формате Avro, поэтому, если вы хотите запросить его с помощью USQL, вам придется использовать класс Extractor. Ури дал хорошую ссылку на него https://anthonychu.ca/post/event-hubs-archive-azure-data-lake-analytics-usql/.

 Смежные вопросы

  • Нет связанных вопросов^_^