apache beam dengan python pardo dengan input multi pCollections

Question

Saya baru di apache_beam dan saya mencoba mengembangkan pipeline. Saya memiliki 2 pCollections dengan format yang sama dan saya memiliki pCollection lain dengan format lain. Saya mencoba melakukan fungsi ParDo yang untuk setiap item di pCollection 3 tergantung nilai o pencarian item ini jika item ada di pCollection 1 atau 2 untuk melengkapi keluaran dengan info pCollection 1 atau 2. Tapi saya tidak tahu bagaimana melakukannya fungsi ParDo ini .

Ini kode saya:

output = (
      pCollection1, pCollection2, pCollection3
      | 'ParDo function' >> beam.ParDo(SearchData()))

Dan ini adalah karya ParDo saya:

class SampleScores(beam.DoFn):
    def process(self,element):
      
      # here I don't know how call a collection because I have only a "element"

      return xxx

Terima kasih

Answer 1

Terpecahkan.

Sudahkah Anda melihat masukan Sisi? beam.apache.org/documentation/programming-guide/#side- input Jika saya memahami pertanyaan Anda dengan benar, yang Anda inginkan adalah memiliki proses (self, element, pcoll1, pcoll2), input samping mungkin membantu Anda dengan itu. - Milan Cermak kemarin

Terima kasih @MilanCermak