このページでは、Cloud Data Fusion でエフェメラル Dataproc クラスタを削除する際の問題を解決する方法について説明します。
Cloud Data Fusion がパイプライン実行のプロビジョニング中にエフェメラル Dataproc クラスタを作成すると、パイプライン実行の完了後にとクラスタが削除されます。まれに、クラスタの削除が失敗することがあります。
強く推奨: クラスタの適切なメンテナンスのために、最新の Cloud Data Fusion バージョンにアップグレードしてください。
最大アイドル時間を設定する
この問題を解決するには、Max Idle Time オプションを構成します。これにより、Dataproc は、パイプラインに対する明示的な呼び出しが失敗した場合でも、クラスタを自動的に削除できます。
Max Idle Time は、Cloud Data Fusion バージョン 6.4 以降で使用できます。
推奨: 6.6 より前のバージョンでは、Max Idle Time を手動で 30 分以上に設定します。
クラスタを手動で削除する
バージョンをアップグレードできない場合や、Max Idle Time オプションを構成できない場合は、代わりに古いクラスタを手動で削除します。
クラスタが作成された各プロジェクト ID を取得します。
パイプラインのランタイム引数で、Dataproc プロジェクト ID が実行用にカスタマイズされているかどうかを確認します。
Dataproc プロジェクト ID が明示的に指定されていない場合は、使用するプロビジョナーを判断してから、プロジェクト ID を確認します。
パイプラインのランタイム引数で、
system.profile.nameの値を確認します。
プロビジョナー設定を開き、Dataproc プロジェクト ID が設定されていることを確認します。設定が存在しないか、フィールドが空の場合は、Cloud Data Fusion インスタンスが実行されているプロジェクトが使用されます。
プロジェクトごとに、以下を行います。
Google Cloud コンソールでプロジェクトを開き、Dataproc の [クラスタ] ページに移動します。
作成日でクラスタを古い順に並べ替えます。
情報パネルが表示されていない場合は、[情報パネルを表示] をクリックして [ラベル] タブに移動します。
使用されていないクラスタ（1 日以上が経過しているクラスタなど）ごとに、Cloud Data Fusion のバージョン ラベルがあるかどうかを確認します。これは、Cloud Data Fusion によって作成されたことを示しています。
クラスタ名の横にあるチェックボックスをオンにして、[削除] をクリックします。