このページでは、Cloud Data Fusion で Dataproc のエフェメラル クラスタを削除する際の問題を解決する方法について説明します。
Cloud Data Fusion がパイプライン実行のプロビジョニング中にエフェメラル Dataproc クラスタを作成すると、パイプライン実行の完了後にとクラスタが削除されます。まれに、クラスタの削除に失敗することがあります。
強く推奨: 適切なクラスタ管理のために、最新の Cloud Data Fusion バージョンにアップグレードします。
最大アイドル時間を設定する
この問題を解決するには、[最大アイドル時間] の値を設定します。これにより、パイプライン終了の明示的な呼び出しが失敗した場合でも、Dataproc は自動的にクラスタを削除できます。
Max Idle Time は、Cloud Data Fusion バージョン 6.4 以降で使用できます。
Cloud Data Fusion 6.6 以降では、最大アイドル時間はデフォルトで 4 時間に設定されています。
デフォルトのコンピューティング プロファイルでデフォルトの時間をオーバーライドするには、次の手順に沿って操作します。
- Cloud Data Fusion ウェブ インターフェースでインスタンスを開きます。
- [システム管理者] > [設定] > [システム環境設定] をクリックします。
- [システム環境設定の編集] をクリックし、キー
system.profile.properties.idleTTLと値を IntegerUnit 形式（30mなど）で追加します。
推奨: 6.6 より前のバージョンでは、Max Idle Time を 30 分以上に手動で設定します。
クラスタを手動で削除する
バージョンをアップグレードできない場合や、Max Idle Time オプションを構成できない場合は、古いクラスタを手動で削除します。
クラスタが作成された各プロジェクト ID を取得します。
パイプラインのランタイム引数で、Dataproc プロジェクト ID が実行用にカスタマイズされているかどうかを確認します。
Dataproc プロジェクト ID が明示的に指定されていない場合は、使用されているプロビジョナーを特定して、プロジェクト ID を確認します。
パイプラインのランタイム引数で、
system.profile.nameの値を確認します。
プロビジョナーの設定を開き、Dataproc プロジェクト ID が設定されているかどうかを確認します。設定が存在しない場合、またはフィールドが空の場合、Cloud Data Fusion インスタンスが実行されているプロジェクトを使用しています。
プロジェクトごとに、以下を行います。
Google Cloud コンソールでプロジェクトを開き、Dataproc の [クラスタ] ページに移動します。
クラスタを作成された日付の、古い日付から新しい日付で並べ替えます。
情報パネルが表示されていない場合は、[情報パネルを表示] をクリックして [ラベル] タブに移動します。
使用されていない各クラスタ（1 日以上経過しているなど）について、Cloud Data Fusion のバージョン ラベルがあるかどうかを確認します。これは、Cloud Data Fusion によって作成されたことを示します。
クラスタ名別のチェックボックスをオンにして、[削除] をクリックします。
クラスタの削除をスキップする
デバッグ目的で、エフェメラル クラスタの自動削除を停止できます。
削除を停止するには、Skip Cluster Deletion プロパティを True に設定します。デバッグが完了したら、クラスタを手動で削除する必要があります。