Google DataprocでSparkジョブをスケジュールする方法は?
Aug 24 2020
Dataprocを使用してGoogleCloudで取り込み/集約フローを作成したいのですが、それまでに収集されたデータに対して1日1時間に1回Sparkジョブを実行したいと考えています。
Sparkジョブをスケジュールする方法はありますか?または、たとえばフローに到着する新しいデータイベントに基づいてこのトリガーを作成しますか?
回答
3 HenryGong Aug 25 2020 at 00:08
Dataprocワークフロー+クラウドスケジューラはあなたのための解決策かもしれません。それはあなたが説明したことを正確にサポートします、例えば、毎日のベースでジョブのフローを実行します。