Как фильтровать данные хранилища данных перед сопоставлением с облачным хранилищем с использованием API MapReduce?

Question

Что касается библиотеки кода here, как мы можем фильтровать данные хранилища данных в заданиях mapreduce, а не извлекать все объекты для определенного типа сущности?

В приведенном ниже определении конвейерного модуля единственным параметром считывателя ввода является вид объекта для обработки, и я не вижу других параметров фильтра типов в классе InputReader, которые могли бы помочь.

output = yield mapreduce_pipeline.MapperPipeline(
    "Datastore Mapper %s" % entity_type, 
    "main.datastore_map", 
    "mapreduce.input_readers.DatastoreInputReader", 
    output_writer_spec="mapreduce.output_writers.FileOutputWriter", 
    params={ 
     "input_reader":{ 
      "entity_kind": entity_type, 
      }, 
     "output_writer":{ 
      "filesystem": "gs", 
      "gs_bucket_name": GS_BUCKET, 
      "output_sharding":"none", 
      } 
     }, 
     shards=100) 

Поскольку Google BigQuery играет лучше с unormalized модели данных, было бы неплохо, чтобы иметь возможность построить одну таблицы из нескольких видов хранилища сущностей (объединения), но я не могу видеть, как сделать это, а?

Answer 1

В зависимости от вашего приложения, вы можете быть в состоянии решить эту проблему путем передачи параметра фильтра, который является «дополнительный список фильтров для применения к запросу Каждый фильтр представляет собой кортеж:.. (<property_name_as_str>, <query_operation_as_str>, <value>»

Так в ваших входных параметров чтения:.

"input_reader":{ 
      "entity_kind": entity_type, 
      "filters": [("datastore_property", "=", 12345), 
         ("another_datastore_property", ">", 200)] 
}