アマゾンウェブサービス-データパイプライン

AWS Data Pipeline は、ユーザーが複数のAWSサービスに分散しているデータを統合し、単一の場所から分析できるように設計されたWebサービスです。

AWS Data Pipelineを使用すると、ソースからデータにアクセスして処理し、結果をそれぞれのAWSサービスに効率的に転送できます。

データパイプラインを設定する方法は？

データパイプラインを設定する手順は次のとおりです-

Step 1 −次の手順を使用してパイプラインを作成します。

• AWSアカウントにサインインします。

• このリンクを使用して、AWS DataPipelineコンソールを開きます- https://console.aws.amazon.com/datapipeline/

• ナビゲーションバーで地域を選択します。

• [新しいパイプラインの作成]ボタンをクリックします。

• それぞれのフィールドに必要な詳細を入力します。

  • [ソース]フィールドで、[テンプレートを使用してビルド]を選択し、このテンプレートを選択します-ShellCommandActivityの使用を開始します。

• [パラメータ]セクションは、テンプレートが選択されている場合にのみ開きます。S3入力フォルダーとShellコマンドをそのままにして、デフォルト値で実行します。S3出力フォルダーの横にあるフォルダーアイコンをクリックして、バケットを選択します。

• [スケジュール]で、値をデフォルトのままにします。

• パイプライン構成で、ログを有効のままにします。ログのS3の場所の下にあるフォルダーアイコンをクリックして、バケットを選択します。

• [セキュリティ/アクセス]で、IAMロールの値をデフォルトのままにします。

• [アクティブ化]ボタンをクリックします。

パイプラインを削除する方法は？

パイプラインを削除すると、関連するすべてのオブジェクトも削除されます。

Step 1 −パイプラインリストからパイプラインを選択します。

Step 2 − [アクション]ボタンをクリックして、[削除]を選択します。

Step 3−確認プロンプトウィンドウが開きます。[削除]をクリックします。

AWSデータパイプラインの機能

Simple and cost-efficient−ドラッグアンドドロップ機能により、コンソールでパイプラインを簡単に作成できます。そのビジュアルパイプラインクリエーターは、パイプラインテンプレートのライブラリを提供します。これらのテンプレートを使用すると、ログファイルの処理、AmazonS3へのデータのアーカイブなどのタスクのパイプラインを簡単に作成できます。

Reliable−そのインフラストラクチャは、フォールトトレラントな実行アクティビティ用に設計されています。アクティビティロジックまたはデータソースで障害が発生した場合、AWS DataPipelineは自動的にアクティビティを再試行します。障害が続く場合は、障害通知を送信します。実行の成功、失敗、アクティビティの遅延などの状況に対して、これらの通知アラートを構成することもできます。

Flexible − AWS Data Pipelineは、スケジューリング、トラッキング、エラー処理などのさまざまな機能を提供します。AmazonEMRジョブの実行、データベースに対して直接SQLクエリを実行する、AmazonEC2で実行されるカスタムアプリケーションを実行するなどのアクションを実行するように設定できます。