Как выполнить объединение в потоке данных?

Question

Я пытаюсь выполнить операцию объединения в Dataflow. Есть ли пример кода для объединения двух PCollections в Dataflow?

Answer 1

Простым способом сделать это было бы объединение Flatten() с RemoveDuplicates() как это. В зависимости от того, хотите ли вы несвязное объединение или теоретико-множественного союза, вызов RemoveDuplicates может быть опущен:

PCollection<String> pc1 = ...; 
PCollection<String> pc2 = ...; 
PCollection<String> union = PCollectionList.of(pc1).and(pc2) 
    .apply(Flatten.<String>create()) 
    .apply(RemoveDuplicates.<String>create()); 

Answer 2

Если у вас есть более чем две коллекции, удобное решение, чтобы заполнить список PCollection, сделать PCollectionList на основе этого и Flatten:

Надеюсь, это поможет.