Fehlerbehebung: Cluster löschen

Auf dieser Seite erfahren Sie, wie Sie Probleme beim Löschen von sitzungsspezifischen Dataproc-Clustern in Cloud Data Fusion beheben.

Wenn Cloud Data Fusion während der Pipeline-Ausführungsbereitstellung einen sitzungsspezifischen Dataproc-Cluster erstellt, wird der Cluster gelöscht, nachdem die Pipelineausführung abgeschlossen ist. In seltenen Fällen schlägt das Löschen des Clusters fehl.

Dringende Empfehlung: Führen Sie ein Upgrade auf die neueste Version von Cloud Data Fusion durch, um eine ordnungsgemäße Clusterwartung zu gewährleisten.

Maximale Inaktivitätszeit festlegen

Konfigurieren Sie die Option Max Idle Time, um dieses Problem zu beheben. Dadurch können Dataproc Cluster automatisch löschen, auch wenn ein expliziter Aufruf der Pipelineausführung fehlschlägt.

Max Idle Time ist in Cloud Data Fusion Version 6.4 und höher verfügbar.

Empfohlen: Für Versionen vor 6.6 müssen Sie Max Idle Time manuell auf 30 Minuten oder höher festlegen.

Cluster manuell löschen

Wenn Sie Ihre Version nicht aktualisieren oder die Option Max Idle Time konfigurieren können, löschen Sie stattdessen veraltete Cluster.

  1. Rufen Sie alle Projekt-IDs ab, in denen die Cluster erstellt wurden:

    1. Prüfen Sie in den Pipeline-Argumenten für Pipeline, ob die Dataproc-Projekt-ID für die Ausführung angepasst ist.

      Prüfen Sie, ob die Dataproc-Projekt-ID für die Ausführung angepasst ist

    2. Wenn eine Dataproc-Projekt-ID nicht explizit angegeben ist, ermitteln Sie, welcher Bereitsteller verwendet wird, und prüfen Sie anschließend auf eine Projekt-ID:

      1. Prüfen Sie in den Argumenten für die Pipelinelaufzeit den Wert system.profile.name.

        Bereitstellernamen in den Laufzeitargumenten abrufen

      2. Öffnen Sie die Bereitsteller-Einstellungen und prüfen Sie, ob die Dataproc-Projekt-ID festgelegt ist. Wenn die Einstellung nicht vorhanden ist oder das Feld leer ist, wird das Projekt verwendet, in dem die Cloud Data Fusion-Instanz ausgeführt wird.

  2. Gehen Sie für jedes Projekt so vor:

    1. Öffnen Sie das Projekt in der Google Cloud Console und rufen Sie die Dataproc-Cluster Cluster auf.

      Zu den Clustern

    2. Sortieren Sie die Cluster nach dem Datum, an dem sie erstellt wurden, von der ältesten zur neuesten.

    3. Wenn der Infofeld ausgeblendet ist, klicke auf Infofeld ansehen und gehe zum Tab Labels.

    4. Prüfen Sie für jeden Cluster, der nicht verwendet wird, z. B. mehr als ein Tag, ob das Cloud Data Fusion-Versionslabel vorliegt. Dies ist ein Hinweis darauf, dass es von Cloud Data Fusion erstellt wurde.

    5. Klicken Sie auf das Kästchen neben dem Clusternamen und dann auf Löschen.