Application Integration でサポートされているコネクタをご覧ください。

Dataflow - Create Job タスク

Dataflow - ジョブ作成タスクでは、Cloud Dataflow でジョブを作成して、Apache Beam SDK の 1 つを使用して構築されたデータ パイプラインを実行できます。

Cloud Dataflow は、ストリームとバッチのデータ処理パイプラインを実行するためのフルマネージド Google Cloud サービスです。

始める前に

Dataflow - ジョブ作成タスクを構成する前に、Google Cloud プロジェクトで次のタスクを行う必要があります。

  1. Dataflow API（dataflow.googleapis.com）を有効にします。

    Dataflow API を有効にする

  2. 認証プロファイルを作成します。Application Integration は、認証プロファイルを使用して、Dataflow - ジョブ作成タスクの認証エンドポイントに接続します。

    サービス アカウントへの追加のロールや権限の付与については、アクセス権の付与、変更、取り消しをご覧ください。

Dataflow - ジョブ作成タスクを構成する

  1. Google Cloud コンソールで [Application Integration] ページに移動します。

    Application Integration に移動

  2. ナビゲーション メニューで [統合] をクリックします。

    [統合] ページが開き、Google Cloud プロジェクトで使用可能なすべての統合が一覧表示されます。

  3. 既存の統合を選択するか、[統合の作成] をクリックして新しい統合を作成します。

    新しい統合を作成する場合:

    1. [統合の作成] ペインで名前と説明を入力します。
    2. 統合のリージョンを選択します。
    3. 統合用のサービス アカウントを選択します。統合のサービス アカウントの詳細は、統合ツールバーの [統合の概要] ペインでいつでも変更または更新できます。
    4. [作成] をクリックします。

    統合エディタで統合が開きます。

  4. 統合エディタのナビゲーション バーで、[タスク] をクリックして、使用可能なタスクとコネクタのリストを表示します。
  5. 統合エディタで、[Dataflow - Create Job] 要素をクリックして配置します。
  6. デザイナーで [Dataflow - Create Job] 要素をクリックして、[Dataflow - Create Job] タスク構成ペインを表示します。
  7. [認証] に移動し、使用する既存の認証プロファイルを選択します。

    省略可。タスクを構成する前に認証プロファイルを作成していない場合は、[+ 新しい認証プロファイル] をクリックし、新しい認証プロファイルを作成するに記載されている手順に沿って操作します。

  8. [Task Input] に移動し、次の [タスク入力パラメータ] テーブルを使用して表示される入力フィールドを構成します。

    入力フィールドの変更は自動的に保存されます。

タスクの入力パラメータ

次の表に、Dataflow - ジョブ作成タスクの入力パラメータを示します。

プロパティ データ型 説明
リージョン 文字列 ジョブの Cloud Dataflow のロケーション。
ProjectsId 文字列 Google Cloud プロジェクト ID。
場所 文字列 このジョブを含むリージョン エンドポイント。
リクエスト JSON リクエスト JSON 構造をご覧ください。

タスク出力

Dataflow - ジョブ作成タスクは、ジョブの新しく作成されたインスタンスを返します。

エラー処理方法

タスクのエラー処理方法では、一時的なエラーによってタスクが失敗した場合のアクションを指定します。エラー処理方式と、さまざまな種類のエラー処理方式の詳細については、エラー処理方法をご覧ください。

割り当てと上限

割り当てと上限については、割り当てと上限をご覧ください。

次のステップ