Google Big Query - таблицы с разбивкой по срокам с конечными данными

Question

Наш прецедент для BigQuery немного уникален. Я хочу начать использовать Date-Partitioned Tables, но наши данные очень возможны. Он не встает, когда он возникает, но в конце концов, когда он предоставляется серверу. Время от времени это может быть дни или даже месяцы, прежде чем вставлять какие-либо данные. Таким образом, атрибут _PARTITION_LOAD_TIME бесполезен для нас.

Мой вопрос в том, как я могу указать столбец, который будет действовать как аргумент _PARTITION_LOAD_TIME и по-прежнему иметь преимущества таблицы с разбивкой по дате? Если бы я мог эмулировать это вручную и иметь соответствующее обновление BigQuery, то я могу начать использовать таблицы Date-Partitioned.

У кого-нибудь есть хорошее решение?

Answer 1

Вам не нужно создавать свой столбец.
_PARTITIONTIME псевдо-столб все еще будет работать для вас!
Единственное, что вам нужно сделать, это вставить/загрузить соответствующие пакеты данных в соответствующий раздел, указав не только имя таблицы, но таблицу с разделителем разделов - например, ваша таблица $ 20160718
Таким образом вы можете загружать данные в раздел, который он принадлежит