Dataflow - ジョブ作成タスクでは、Cloud Dataflow でジョブを作成して、Apache Beam SDK の 1 つを使用して構築されたデータ パイプラインを実行できます。
Cloud Dataflow は、ストリームとバッチのデータ処理パイプラインを実行するためのフルマネージド Google Cloud サービスです。
始める前に
Dataflow - ジョブ作成タスクを構成する前に、Google Cloud プロジェクトで次のタスクを行う必要があります。
- Dataflow API（
dataflow.googleapis.com）を有効にします。 - 認証プロファイルを作成します。Apigee Integration は、認証プロファイルを使用して Dataflow - ジョブ作成タスクの認証エンドポイントに接続します。
サービス アカウントへの追加のロールや権限の付与については、アクセス権の付与、変更、取り消しをご覧ください。
Dataflow - ジョブ作成タスクを構成する
- Apigee UI で、Apigee 組織を選択します。
- [Develop] > [Integrations] の順にクリックします。
- 既存のインテグレーションを選択するか、[Create Integration] をクリックして新しいインテグレーションを作成します。
新しいインテグレーションを作成する場合:
- [Create Integration] ダイアログで名前と説明を入力します。
- サポートされているリージョンのリストから、インテグレーションのリージョンを選択します。
- [Create] をクリックします。
インテグレーション デザイナーでインテグレーションが開きます。
- 統合デザイナーのナビゲーション バーで、[+ Add a task/trigger] > [Tasks] の順にクリックして、使用可能なタスクのリストを表示します。
- 統合デザイナーで、[Dataflow - Create Job] 要素をクリックして配置します。
- デザイナーで [Dataflow - Create Job] 要素をクリックして、[Dataflow - Create Job] タスク構成ペインを表示します。
- [Authentication] に移動し、使用する既存の認証プロファイルを選択します。
省略可。タスクを構成する前に認証プロファイルを作成していない場合は、[+ New authentication profile] をクリックし、新しい認証プロファイルを作成するに記載されている手順に沿って操作します。
- [Task Input] に移動し、次の「タスクの入力パラメータ」の表を使用して表示される入力フィールドを構成します。
入力フィールドの変更は自動的に保存されます。
タスクの入力パラメータ
次の表に、Dataflow - ジョブ作成タスクの入力パラメータを示します。
| プロパティ | データ型 | 説明 |
|---|---|---|
| Region | 文字列 | ジョブの Cloud Dataflow のロケーション。 |
| ProjectsId | 文字列 | Google Cloud プロジェクト ID。 |
| Location | 文字列 | このジョブを含むリージョン エンドポイント。 |
| Request | JSON | リクエスト JSON 構造をご覧ください。 |
タスク出力
Dataflow - ジョブ作成タスクは、ジョブに新しく作成されたインスタンスを返します。
エラー処理方法
タスクのエラー処理方法では、一時的なエラーによってタスクが失敗した場合のアクションを指定します。エラー処理方式の使用方法と、さまざまな種類のエラー処理方式の詳細については、エラー処理の方式をご覧ください。
次のステップ
- エッジとエッジの条件を追加する。
- インテグレーションをテストして公開する。
- トリガーを構成する。
- データ マッピング タスクを追加する。
- Google Cloud サービス向けのすべてのタスクを確認する。