クラスタを再利用する

このページでは、Cloud Data Fusion でのパイプライン実行に Dataproc クラスタを再利用する方法について説明します。詳細については、クラスタを再利用するタイミングと既存の Dataproc クラスタに対してパイプラインを実行するをご覧ください。

始める前に

  • バージョン 6.5.0 以降の Cloud Data Fusion インスタンスが必要です。

クラスタの再利用を有効にする

クラスタは、新しいコンピューティング プロファイルやデプロイされたパイプラインで使用されているパイプラインで再利用できます。

新しいプロファイルでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. [System admin] > [構成] > [システム コンピューティング プロファイル] の順にクリックします。

  3. [Create New Profile] をクリックします。

  4. [Dataproc] プロビジョナーを選択します。

  5. [Dataproc のプロファイルの作成] ウィンドウで、クラスタの詳細を入力します。

    1. [プロファイル ラベル] フィールドと [プロファイル名] フィールドに、プロファイルを識別する名前（execution_compute-profile など）を入力します。
    2. [説明] フィールドに、プロファイルの目的を記述します（例: Profile used for pipeline execution）。
    3. [最大アイドル時間] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    4. [クラスタの削除をスキップ] フィールドを True に設定します。詳細については、クラスタを再利用する場合をご覧ください。
    5. 省略可: その他のオプション フィールドを構成します。
    6. [作成] をクリックします。

デプロイされたパイプラインでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion ウェブ インターフェースでインスタンスを開くには、[Instances] をクリックしてから、[View instance] をクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。

  3. [デプロイ済み] タブをクリックし、パイプライン名をクリックします。デプロイされたパイプラインが、Cloud Data Fusion ウェブ インターフェースの [Studio] ページで開きます。

  4. [構成] をクリックします。

  5. [コンピューティング構成] ウィンドウで、選択したプロファイルに移動し、[カスタマイズ] をクリックします。

  6. 表示されたウィンドウで次の値を入力します。

    1. [Max Idle Time] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    2. [クラスタの削除をスキップ] を True に設定します。詳細については、クラスタを再利用する場合をご覧ください。

  7. [完了] をクリックします。

次のステップ