Интеграция Google Dataproc и BigQuery с пользовательским запросом

Question

Я запускаю искровой кластер с использованием Google dataproc. Я хотел бы получить данные из большого запроса, используя пользовательский запрос. Я могу запустить основной пример подсчета слов, но я ищу способ запуска пользовательского запроса , например.

SELECT ROW_NUMBER() OVER() as Id, prop11 FROM (
    SELECT prop11 FROM (
     TABLE_DATE_RANGE([mapping.abc_v2_], DATE_ADD(CURRENT_TIMESTAMP(), -1, 'MONTH'), CURRENT_TIMESTAMP()) 
    ) WHERE (prop11 IS NOT null AND prop11 !="") GROUP EACH BY prop11 
) 

Есть ли у нас API Java в соединителе bigquery hadoop для этого?

Answer 1

В настоящее время коннектор BigQuery для Hadoop не имеет поддерживаемого механизма для выполнения запросов BigQuery.

Если ваш запрос может быть выражен как Spark SQL или с помощью преобразований Spark, то вы можете использовать экспорт из BigQuery в GCS (текущий рабочий процесс BigQuery Hadoop Connector), а затем использовать Spark для получения конечного результата.