Taggin BigQuery заданий/запросов с пользовательскими данными мета

Question

Добрый день,

В настоящее время мы включена как доступ и деятельность лесозаготовки и толкая журналы обратно к набору BQ данных. Есть ли способ отметить теги BigQuery или отдельные запросы с помощью дополнительных тегов метаданных? В Teradata есть функция, подобная этой группе запросов, в которой вы можете отправлять группы ключевых пар значений и затем привязываться к одному запросу или сеансу в зависимости от того, как он установлен.

В данном случае я хотел бы иметь возможность собирать определенную информацию из журналов аудита с помощью этих тегов. Например, я пытаюсь создать процесс бенчмаркинга, который я планирую несколько раз запускать против множества статических наборов данных. Было бы неплохо, если бы я мог как-то пометить конкретный запрос, чтобы я мог собирать метрики вокруг разных исполнений одного и того же процесса, но также связывать их на разных уровнях с разными тегами.

Когда я хочу, чтобы я мог проанализировать то просто выполнить запрос, похожее на это:

select 
custom_metadata.<custom_key2>, custom_metadata.<custom_key>, duration, bytesprocessed, querytext 
from data_access_log 
where 
custom_metadata.<custom_key> in ('TY_LY_SLS', 'DLY_AGG') 
and custom_metadata.<custom_key2> in ('SLS_BENCH') 

или

select 
custom_metadata.<custom_key2>, DATE(start_time), sum(duration) 
from data_access_log 
where 
custom_metadata.<custom_key2> = 'SLS_BENCH' 
GROUP BY 1,2 

Answer 1

Я использую JobID для этого. Для любой работы вы можете предоставить свою собственную ценность - вам просто нужно убедиться, что она уникальна. Вы можете «глотать» свои пользовательские ключи здесь, а затем разбирать их и использовать в анализе использования.
Другим вариантом было использование комментариев в тексте запроса, но мне не понравилась эта идея, так как она сама делает анализ запросов сам по себе и специфичен только для заданий запроса, тогда как jobid может быть настроен для любого типа заданий, поэтому более общий