Пользовательские шаблоны для анализа потоков данных для хранения потоков

Question

Мой вопрос заключается в том, чтобы сэкономить данные от аналитики потока до хранилища blob. В нашей системе мы собираем данные clictstream из многих веб-сайтов через концентраторы событий. Затем мы делаем небольшую группировку и агрегацию. После этого мы отправляем результаты в нашу память.

Проблема заключается в том, что мы хотим отделить наши результаты от многих контейнеров-контейнеров по id для каждого веб-сайта. Теперь мы можем сделать это только по дате и времени, например/logs/{date}/{time}, но мы хотим/{websiteID}/{date}/{time}

Есть ли способ достижения этого?

Answer 1

Проблема заключается в том, что мы хотим отделить наши результаты от многих контейнеров-контейнеров по идентификатору для каждого веб-сайта. Теперь мы можем сделать это только по дате и времени шаблона, как/журналы/{дата}/{время}, но мы хотим, чтобы/{websiteID}/{дата}/{время}

В этом официальном документе stream-analytics-define-outputs упоминается о Path Prefix Pattern из памяти памяти:

Путь к файлу, используемый для записи ваших блоков в указанном контейнере. В пути, вы можете использовать один или более экземпляров следующих 2-х переменных, чтобы указать частоту, что сгустки написаны: {дата}, {время}

Пример 1: cluster1/журналы/{дата}/{время}

Пример 2: cluster1/журналы/{дата}

Основываясь на моем понимании, вы можете создать несколько целей вывода блоб из одного потока Analytics работы для каждого из сайтов и в вашем SQL-подобном запросе la nguage, вы можете фильтровать данные событий и отправлять данные на конкретный вывод. Для получения дополнительной информации вы можете обратиться к Common query patterns.

Answer 2

Это дубликат вопрос:

Stream Analytics: Dynamic output path based on message payload

Azure Stream Analytics -> how much control over path prefix do I really have?

Короткая версия выше, вы не можете сделать это в потоке Analytics. Если у вас слишком много целевых путей для нескольких приемников, которые могут быть осуществимы, наилучшим вариантом является поток в один снимок хранилища blob и обработка результатов с помощью чего-то другого, кроме ASA. Функции Azure, WebJobs или ADF - это несколько возможных решений.