Application Integration でサポートされているコネクタをご覧ください。
Dataflow - Create Job タスク
Dataflow - ジョブ作成タスクでは、Cloud Dataflow でジョブを作成して、Apache Beam SDK の 1 つを使用して構築されたデータ パイプラインを実行できます。
Cloud Dataflow は、ストリームとバッチのデータ処理パイプラインを実行するためのフルマネージド Google Cloud サービスです。
始める前に
Dataflow - ジョブ作成タスクを構成する前に、Google Cloud プロジェクトで次のタスクを行う必要があります。
- Dataflow API（
dataflow.googleapis.com）を有効にします。 - 認証プロファイルを作成します。Application Integration は、認証プロファイルを使用して、Dataflow - ジョブ作成タスクの認証エンドポイントに接続します。
サービス アカウントへの追加のロールや権限の付与については、アクセス権の付与、変更、取り消しをご覧ください。
Dataflow - ジョブ作成タスクを構成する
- Google Cloud コンソールで [Application Integration] ページに移動します。
- ナビゲーション メニューで [統合] をクリックします。
[統合] ページが開き、Google Cloud プロジェクトで使用可能なすべての統合が一覧表示されます。
- 既存の統合を選択するか、[統合の作成] をクリックして新しい統合を作成します。
新しい統合を作成する場合:
- [統合の作成] ペインで名前と説明を入力します。
- 統合のリージョンを選択します。
- 統合用のサービス アカウントを選択します。統合のサービス アカウントの詳細は、統合ツールバーの [統合の概要] ペインでいつでも変更または更新できます。
- [作成] をクリックします。
統合デザイナーで統合が開きます。
- 統合エディタのナビゲーション バーで、[タスク] をクリックして、使用可能なタスクのリストを表示します。
- 統合エディタで、[Dataflow - Create Job] 要素をクリックして配置します。
- デザイナーで [Dataflow - Create Job] 要素をクリックして、[Dataflow - Create Job] タスク構成ペインを表示します。
- [Authentication] に移動し、使用する既存の認証プロファイルを選択します。
省略可。タスクを構成する前に認証プロファイルを作成していない場合は、[+ New authentication profile] をクリックし、新しい認証プロファイルを作成するに記載されている手順に沿って操作します。
- [Task Input] に移動し、次の「タスクの入力パラメータ」の表を使用して表示される入力フィールドを構成します。
入力フィールドの変更は自動的に保存されます。
タスクの入力パラメータ
次の表に、Dataflow - ジョブ作成タスクの入力パラメータを示します。
| プロパティ | データ型 | 説明 |
|---|---|---|
| Region | 文字列 | ジョブの Cloud Dataflow のロケーション。 |
| ProjectsId | 文字列 | Google Cloud プロジェクト ID。 |
| Location | 文字列 | このジョブを含むリージョン エンドポイント。 |
| Request | JSON | リクエスト JSON 構造をご覧ください。 |
タスク出力
Dataflow - ジョブ作成タスクは、ジョブに新しく作成されたインスタンスを返します。
エラー処理方法
タスクのエラー処理方法では、一時的なエラーによってタスクが失敗した場合のアクションを指定します。エラー処理方式の使用方法と、さまざまな種類のエラー処理方式の詳細については、エラー処理の方式をご覧ください。
次のステップ
- エッジとエッジの条件を追加する。
- インテグレーションをテストして公開する。
- トリガーを構成する。
- データ マッピング タスクを追加する。
- Google Cloud サービス向けのすべてのタスクを確認する。