Google DataprocでSparkジョブをスケジュールする方法は?

Aug 24 2020

Dataprocを使用してGoogleCloudで取り込み/集約フローを作成したいのですが、それまでに収集されたデータに対して1日1時間に1回Sparkジョブを実行したいと考えています。

Sparkジョブをスケジュールする方法はありますか?または、たとえばフローに到着する新しいデータイベントに基づいてこのトリガーを作成しますか?

回答

3 HenryGong Aug 25 2020 at 00:08

Dataprocワークフロー+クラウドスケジューラはあなたのための解決策かもしれません。それはあなたが説明したことを正確にサポートします、例えば、毎日のベースでジョブのフローを実行します。