poutre apache avec python pardo avec entrée multi pCollections

Question

Je suis nouveau dans apache_beam et j'essaye de développer un pipeline. J'ai 2 pCollections avec le même format et j'ai une autre pCollection avec un autre format. J'essaie de faire une fonction ParDo qui pour chaque élément de pCollection 3 en fonction d'une valeur de cet élément recherche si l'élément existe dans pCollection 1 ou 2 pour compléter la sortie avec les informations de pCollection 1 ou 2. Mais je ne sais pas comment faire cette fonction ParDo .

Voici mon code:

output = (
      pCollection1, pCollection2, pCollection3
      | 'ParDo function' >> beam.ParDo(SearchData()))

Et voici ma fonction ParDo:

class SampleScores(beam.DoFn):
    def process(self,element):
      
      # here I don't know how call a collection because I have only a "element"

      return xxx

Merci

Answer 1

Résolu.

Avez-vous regardé les entrées secondaires? beam.apache.org/documentation/programming-guide/#side- inputs Si je comprends bien votre question, ce que vous voulez, c'est avoir un processus (self, element, pcoll1, pcoll2), les entrées secondaires pourraient vous aider. - Milan Cermak hier

Merci @MilanCermak