Fehlerbehebung beim Löschen von Clustern

Auf dieser Seite erfahren Sie, wie Sie Probleme beim Löschen sitzungsspezifischer Dataproc-Cluster in Cloud Data Fusion beheben.

Wenn Cloud Data Fusion während der Bereitstellung einer Pipelineausführung einen sitzungsspezifischen Dataproc-Cluster erstellt, wird der Cluster nach Abschluss der Pipelineausführung gelöscht. In seltenen Fällen schlägt das Löschen des Clusters fehl.

Empfohlen: Führen Sie ein Upgrade auf die neueste Cloud Data Fusion-Version durch, um eine ordnungsgemäße Clusterwartung zu gewährleisten.

Maximale Inaktivitätszeit festlegen

Konfigurieren Sie den Wert Max. Inaktivitätszeit, um dieses Problem zu beheben. So können Cluster in Dataproc automatisch gelöscht werden, auch wenn ein expliziter Aufruf zum Pipelineende fehlschlägt.

Max Idle Time ist in Cloud Data Fusion Version 6.4 und höher verfügbar.

In Cloud Data Fusion 6.6 und höher ist Max. Inaktivitätszeit standardmäßig auf 4 Stunden festgelegt.

So überschreiben Sie die Standardzeit im Standard-Rechenprofil:

  1. Öffnen Sie die Instanz in der Cloud Data Fusion-Weboberfläche.
  2. Klicken Sie auf Systemadministrator > Konfiguration > Systemeinstellungen.
  3. Klicken Sie auf Systemeinstellungen bearbeiten und fügen Sie den Schlüssel system.profile.properties.idleTTL und den Wert im Format „IntegerUnit“ hinzu, z. B. 30m.

Empfohlen: Bei Versionen vor 6.6 muss Max Idle Time manuell auf mindestens 30 Minuten festgelegt werden.

Cluster manuell löschen

Wenn Sie Ihre Version nicht aktualisieren oder die Option Max Idle Time nicht konfigurieren können, löschen Sie veraltete Cluster stattdessen manuell:

  1. Rufen Sie die Projekt-IDs ab, in denen die Cluster erstellt wurden:

    1. Prüfen Sie in den Laufzeitargumenten der Pipeline, ob die Dataproc-Projekt-ID für die Ausführung angepasst ist.

      Prüfen, ob die Dataproc-Projekt-ID für die Ausführung angepasst ist

    2. Wenn keine Dataproc-Projekt-ID explizit angegeben ist, ermitteln Sie, welcher Bereitsteller verwendet wird, und suchen Sie dann nach einer Projekt-ID:

      1. Prüfen Sie in den Laufzeitargumenten der Pipeline den Wert für system.profile.name.

        Name des Bereitstellers in den Laufzeitargumenten abrufen

      2. Öffnen Sie die Bereitstellungseinstellungen und prüfen Sie, ob die Dataproc-Projekt-ID festgelegt ist. Wenn die Einstellung nicht vorhanden ist oder das Feld leer ist, wird das Projekt verwendet, in dem die Cloud Data Fusion-Instanz ausgeführt wird.

  2. Für jedes Projekt:

    1. Öffnen Sie das Projekt in der Google Cloud Console und rufen Sie die Seite Cluster von Dataproc auf.

      Zu den Clustern

    2. Sortieren Sie die Cluster nach dem Erstellungsdatum, von alt nach neu.

    3. Wenn das Infofeld ausgeblendet ist, klicken Sie auf Infofeld ansehen und gehen Sie zum Tab Labels.

    4. Prüfen Sie bei jedem Cluster, der nicht verwendet wird (z. B. wenn mehr als ein Tag vergangen ist), ob er ein Label für die Cloud Data Fusion-Version hat. Das ist ein Hinweis darauf, dass es mit Cloud Data Fusion erstellt wurde.

    5. Klicken Sie auf das Kästchen neben dem Clusternamen und dann auf Löschen.

Clusterlöschung überspringen

Sie können das automatische Löschen eines sitzungsspezifischen Clusters zu Debugging-Zwecken beenden.

Wenn Sie das Löschen beenden möchten, setzen Sie die Eigenschaft Skip Cluster Deletion auf True. Sie müssen den Cluster nach Abschluss der Fehlerbehebung manuell löschen.