Data Fusion: Meneruskan argumen waktu proses dari satu pipeline ke pipeline lainnya

Question

Saya memiliki argumen runtime yang ditetapkan di namespace yaitu business_date: $ {logicalStartTime (yyyy-MM-dd)}. Saya menggunakan argumen ini di pipeline saya dan ingin menggunakan argumen yang sama di pipeline lain. Ada banyak pipeline back to back dan saya ingin nilainya sama di seluruh pipeline setelah dihitung di pipeline pertama. misalkan nilainya dihitung sebagai '2020-08-20 20:14:11' dan setelah pipeline berhasil, saya meneruskan argumen ini ke pipeline 2, tetapi karena argumen ini ditentukan pada level namespace, ia akan diganti saat pipeline2 dimulai.

Bagaimana saya bisa mencegah nilai ini dihitung lagi?

Answer 1

Seperti yang telah dikomentari sebelumnya, Anda dapat menyiapkan satu pipeline untuk memicu pipeline lain; Anda dapat menyetel variabel runtime di pipeline pertama dan variabel ini akan disetel di pipeline yang dipicu. Anda dapat membuat pemicu masuk dengan mengikuti langkah-langkah selanjutnya:

1. Setelah Anda membuat pipeline, pilih pipeline terakhir yang ingin Anda jalankan. Dalam kasus saya, saya memiliki pipeline DataFusionQuickstart2 .

1. Ke dalam aplikasi pipeline, di sisi kiri, klik "Inbound triggers" -> "Set pipeline trigger" dan Anda akan melihat pipe yang dapat Anda picu. Memeriksa event yang akan memicu DataFusionQuickstart2 pipa dari DataFusionQuickstart dan mengaktifkannya.

1. Jika Anda melihat ke pipeline DataFusionQuickstar sebelumnya, Anda akan melihat, ke opsi pemicu keluar (sisi kanan), pipeline yang akan dipicu oleh DataFusionQuickstar .

1. Terakhir, setel argumen waktu proses Anda.

Informasi tambahan

Dalam posting ini , disebutkan bahwa ada tiga cara untuk mengatur argumen runtime dari sebuah pipeline:

1. Plugin Argument Setter (Anda dapat menuliskan nilai itu dalam file ke pipeline pertama. Di semua pipeline berikutnya, buat parameter untuk membaca file itu.)
2. Meneruskan argumen runtime saat memulai pipeline (yang dijelaskan di atas)
3. Preferensi Pengaturan (Ini memberikan kemampuan untuk menyimpan informasi konfigurasi di berbagai tingkat sistem, termasuk contoh CDAP, namespace, aplikasi, dan tingkat program.)

Answer 2

Anda dapat menuliskan nilai tersebut di file di pipeline pertama. Di semua pipeline berikutnya, buat parameter untuk membaca file itu. Dengan begitu, tujuan harus tercapai.

Answer 3

@Sudhir, Anda dapat menjelajahi PREFERENSI. https://cdap.atlassian.net/wiki/spaces/DOCS/pages/477561058/Preferences+HTTP+RESTful+API

Anda telah menetapkan variabel pada tingkat namespace dan sesuai dengan temuan Anda, variabel tersebut dievaluasi setiap kali digunakan.

Bisakah Anda mencoba mengaturnya di level Aplikasi? Dan berikan ke pipeline berikutnya. Saya percaya dalam kasus itu, itu harus dievaluasi hanya sekali dalam aplikasi tertentu (pipeline) dan setelah itu nilainya akan diteruskan.

Preferensi juga tersedia di tingkat program.