BigQuery tabledata: вывод списка в таблицу bigquery

Question

Я знаю, что есть способ поместить результаты запроса в таблицу; есть способ скопировать всю таблицу в другую таблицу; и есть способ перечислить таблицу по частям (tabledata: list, используя startIndex, maxResults и pageToken).

Однако, что я хочу сделать, это переместить существующую таблицу с помощью tabledata: list и вывести результаты по частям в другие таблицы. Я хочу использовать это как эффективный способ очертить таблицу.

Я не могу найти ссылку на такую ​​функциональность или любое обходное решение для нее.

Answer 1

Важно осознать: Tabledata.List API не является частью BQL (BigQuery SQL), а BigQuery API, что вы можете использовать в client вашего выбора. Тем не менее, логика вы изложенная в вашем вопросе может быть реализована во многих отношениях, ниже приведен пример (этапы высокого уровня):

Вызова Tabledata.List внутри цикла с использованием pageToken для следующей итерации или для выхода из цикла. На каждой итерации отклик процесса от Tabledata.List, извлекать фактические данные и вставлять в таблицу назначения с использованием streaming data с Tabledata.InsertAll API. Вы также можете иметь внутренний цикл, чтобы пройти через строки, извлеченные в данной итерации, и определить, какой из них следует переходить в таблицу/осколок. Это очень общая логика, и конкретная реализация зависит от используемого вами клиента. Надеюсь, что это помогает

Answer 2

За то, что вы описали, я предлагаю вам использовать пакетную версию Cloud DataFlow:

https://cloud.google.com/dataflow/

Dataflow уже поддерживает таблицы BigQuery в качестве источников и поглотителей, и будет хранить все данные в сети Google. Этот подход также масштабируется до сколь угодно больших таблиц.

TableData.list-таблица всей таблицы может отлично работать для небольших таблиц, но в стороне от сети, она определенно не рекомендуется ни для чего умеренного размера.