クラスタを再利用する

このページでは、Cloud Data Fusion でパイプラインの実行に Dataproc クラスタを再利用する方法について説明します。詳細については、クラスタを再利用するタイミングと 既存の Dataproc クラスタに対してパイプラインを実行するをご覧ください。

始める前に

  • バージョン 6.5.0 以降の Cloud Data Fusion インスタンスが必要です。

クラスタの再利用を有効にする

クラスタは、新しいコンピューティング プロファイルで再利用することも、デプロイされたパイプラインで使用されたプロファイルで再利用することもできます。

新しいプロファイルでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [システム管理者] > [構成] > [システム コンピューティング プロファイル] をクリックします。

  3. [Create New Profile] をクリックします。

  4. Dataproc プロビジョナーを選択します。

  5. [Create a profile for Dataproc] ウィンドウで、クラスタの詳細を入力します。

    1. [Profile label] フィールドと [Profile name] フィールドに、プロファイルを識別する名前を入力します（例: execution_compute-profile）。
    2. [説明] フィールドに、プロファイルの目的を記述します（例: Profile used for pipeline execution）。
    3. [最大アイドル時間] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    4. [クラスタの削除をスキップ] フィールドを True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。
    5. 省略可: 他のオプション フィールドを構成します。
    6. [作成] をクリックします。

デプロイされたパイプラインでクラスタの再利用を有効にする

  1. インスタンスに移動します:

    1. Google Cloud コンソールで、Cloud Data Fusion のページに移動します。

    2. Cloud Data Fusion Studio でインスタンスを開くには、[インスタンス]、[インスタンスを表示] の順にクリックします。

      [インスタンス] に移動

  2. [リスト] をクリックします。

  3. [デプロイ済み] タブをクリックし、パイプライン名をクリックします。デプロイされたパイプラインが、Cloud Data Fusion ウェブ インターフェースの [Studio] ページで開きます。

  4. [構成] をクリックします。

  5. [Compute config] ウィンドウで、選択したプロファイルに移動し、[カスタマイズ] をクリックします。

  6. 表示されたウィンドウで、次の値を入力します。

    1. [Max Idle Time] フィールドに値を入力します。詳細については、最大アイドル時間を設定するをご覧ください。
    2. [Skip cluster delete] を True に設定します。詳細については、クラスタを再利用するタイミングをご覧ください。

  7. [完了] をクリックします。

次のステップ