Fehlerbehebung beim Löschen von Clustern

Auf dieser Seite wird beschrieben, wie Sie Probleme beim Löschen sitzungsspezifischer Dataproc-Cluster in Cloud Data Fusion beheben.

Wenn Cloud Data Fusion während der Bereitstellung der Pipeline einen sitzungsspezifischen Dataproc-Cluster erstellt, wird der Cluster nach Abschluss der Pipelineausführung gelöscht. In seltenen Fällen schlägt das Löschen des Clusters fehl.

Dringende Empfehlung: Führen Sie ein Upgrade auf die neueste Version von Cloud Data Fusion durch, um eine ordnungsgemäße Clusterwartung sicherzustellen.

Maximale Inaktivitätszeit festlegen

Konfigurieren Sie den Wert für die maximale Inaktivitätszeit, um dieses Problem zu beheben. Dadurch kann Dataproc Cluster automatisch löschen, auch wenn ein expliziter Aufruf der Pipeline fehlschlägt.

Max Idle Time ist in Cloud Data Fusion ab Version 6.4 verfügbar.

In Cloud Data Fusion 6.6 und höher ist die maximale Inaktivitätszeit standardmäßig auf 4 Stunden festgelegt.

So überschreiben Sie die Standardzeit im Compute-Standardprofil:

  1. Öffnen Sie die Instanz in der Cloud Data Fusion-Weboberfläche.
  2. Klicken Sie auf System Admin > Konfiguration > Systemeinstellungen.
  3. Klicken Sie auf Systemeinstellungen bearbeiten und fügen Sie den Schlüssel system.profile.properties.idleTTL und den Wert im IntegerUnit-Format hinzu, z. B. 30m.

Empfohlen: Legen Sie für Versionen vor 6.6 Max Idle Time manuell auf mindestens 30 Minuten fest.

Cluster manuell löschen

Wenn Sie keine Version upgraden oder die Option Max Idle Time konfigurieren können, löschen Sie veraltete Cluster stattdessen manuell:

  1. Rufen Sie jede Projekt-ID ab, in der die Cluster erstellt wurden:

    1. Prüfen Sie in den Laufzeitargumenten der Pipeline, ob die Dataproc-Projekt-ID für die Ausführung angepasst ist.

      Prüfen, ob die Dataproc-Projekt-ID für die Ausführung angepasst wurde

    2. Wenn eine Dataproc-Projekt-ID nicht explizit angegeben ist, ermitteln Sie, welcher Bereitsteller verwendet wird, und suchen Sie dann nach einer Projekt-ID:

      1. Prüfen Sie in den Pipelinelaufzeitargumenten den Wert system.profile.name.

        Name des Bereitstellers in den Laufzeitargumenten abrufen

      2. Öffnen Sie die Bereitstellereinstellungen und prüfen Sie, ob die Dataproc-Projekt-ID festgelegt ist. Wenn die Einstellung nicht vorhanden oder das Feld leer ist, wird das Projekt verwendet, in dem die Cloud Data Fusion-Instanz ausgeführt wird.

  2. Gehen Sie für jedes Projekt so vor:

    1. Öffnen Sie das Projekt in der Google Cloud Console und rufen Sie die Dataproc-Seite Cluster auf.

      Zu den Clustern

    2. Sortieren Sie die Cluster nach dem Datum, an dem sie erstellt wurden, von der ältesten bis zur neuesten.

    3. Wenn das Infofeld ausgeblendet ist, klicken Sie auf Infofeld ansehen und wechseln Sie zum Tab Labels.

    4. Prüfen Sie für jeden Cluster, der nicht verwendet wird, z. B. nach mehr als einem Tag, ob er ein Cloud Data Fusion-Versionslabel hat. Dies ist ein Hinweis darauf, dass sie von Cloud Data Fusion erstellt wurde.

    5. Klicken Sie auf das Kästchen neben dem Clusternamen und dann auf Löschen.

Löschen des Clusters überspringen

Zum Debugging können Sie das automatische Löschen eines sitzungsspezifischen Clusters verhindern.

Um den Löschvorgang zu verhindern, setzen Sie das Attribut Skip Cluster Deletion auf True. Sie müssen den Cluster nach dem Debugging manuell löschen.