Planmäßiges Löschen von Clustern

Nutzen Sie beim Erstellen von Clustern die Dataproc-Funktion zum planmäßigen Löschen von Clustern, um Google Cloud-Gebühren für einen inaktiven Cluster zu vermeiden. Bei Verwendung dieser Funktion kann ein Cluster wie folgt gelöscht werden:

Nach einem bestimmten Zeitraum, in dem der Cluster inaktiv war
Zu einem bestimmten zukünftigen Zeitpunkt
Nach einem bestimmten Zeitraum, der mit dem Senden der Anfrage zur Clustererstellung beginnt

Einschränkungen:

Sie können einen Cluster nicht in einen Cluster zum planmäßigen Löschen ändern. Sie können einen Cluster zum planmäßigen Löschen jedoch aktualisieren, um zuvor festgelegte geplante Löschwerte zu entfernen.
Mit den folgenden Aktionen wird das planmäßige Löschen von Clustern deaktiviert. Wenn Sie eine dieser Aktionen ausführen, müssen Sie die Aktion rückgängig machen, um das geplante Löschen des Clusters wieder zu aktivieren.
- Entfernen der IAM-Bindung von "Identität der Steuerungsebene" für die Rolle "Dataproc-Dienst-Agent"
- Deaktivieren der Dataproc API während der Ausführung eines Clusters, der für das Löschen geplant ist
- Aktivieren des Compute Engine-VM-Löschschutzes auf einer beliebigen VM des Clusters, der für das Löschen geplant ist
- Aktivieren von VPC Service Controls, wenn "Identität der Steuerungsebene" nicht innerhalb der Umkreisgrenze liegt

Planmäßiges Löschen von Clustern verwenden

Hinweis: Das Clusterattribut dataproc:dataproc.cluster-ttl.consider-yarn-activity ist für Image-Versionen 1.4.64 und höher, 1.5.39 und höher sowie 2.0.13 und höher standardmäßig auf true festgelegt. Bei dieser Einstellung wird bei Clustern, die mit diesen Image-Versionen erstellt wurden, beim planmäßigen Löschen von Clustern bei der Bestimmung der Inaktivitätszeit des Clusters standardmäßig die YARN-Aktivität zusätzlich zu der Dataproc Jobs API-Aktivität berücksichtigt. Diese Einstellung wirkt sich nicht auf Cluster mit Images mit niedrigeren Versionsnummern aus: Die Inaktivitätszeit dieser Cluster für diese Cluster wird weiterhin nur anhand der Dataproc Jobs API-Aktivität berechnet. Wenn Sie die Image-Version 1.4.64 und höher sowie 1.5.39 und 2.0.13 und höher verwenden, können Sie dieses Standardverhalten deaktivieren. Legen Sie dazu beim Erstellen des Clusters dieses Attribut auf false fest.

gcloud-Befehl

Sie können einen Cluster mit dem Feature "Geplantes Löschen von Clustern" erstellen, indem Sie die folgenden Flags für das geplante Löschen an den Befehl gcloud dataproc clusters create übergeben.

Flag	Beschreibung	Feinste Granularität	Mindestwert	Maximalwert
`--max-idle`¹	Der Zeitraum von dem Moment an, in dem der Cluster in den Ruhezustand wechselt, bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie die Dauer im Format `IntegerUnit` an, wobei die Einheit "s, m, h, d" (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: "30m" oder "1d" (30 Minuten oder 1 Tag ab dem Zeitpunkt, zu dem der Cluster inaktiv wird)	1 Sekunde	5 Minuten	14 Tage
`--expiration-time`²	Die Zeit zum Starten des Löschvorgangs des Clusters im ISO 8601-Datetime-Format. Mit dem Zeitstempel-Generator können Sie Datum/Uhrzeit mühelos im richtigen Format generieren. "2017-08-22T13:31:48-08:00" gibt beispielsweise die Ablaufzeit 13:21:48 in der Zeitzone UTC -8:00 an.	1 Sekunde	10 Minuten ab der aktuellen Uhrzeit	14 Tage ab der aktuellen Uhrzeit
`--max-age`²	Der Zeitraum ab der Übergabe der Anfrage zur Erstellung des Clusters bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie die Dauer im Format `IntegerUnit` an, wobei die Einheit "s, m, h, d" (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: "30m" (30 Minuten ab jetzt); "1d" (1 Tag ab jetzt)	1 Sekunde	10 Minuten	14 Tage

¹ Sie können das Flag --max-idle mit dem Flag --expiration-time oder --max-age in Ihrer Anfrage zur Clustererstellung übergeben. Das erste eintretende Flag führt zum Herunterfahren des Clusters.
² Sie können das Flag --expiration-time oder das Flag --max-age an den Befehl zum Erstellen des Clusters übergeben, aber nicht beide.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --max-idle=duration \
    --expiration-time=time \
    ... other flags ...

Sie können einen Cluster aktualisieren, der mit der Funktion zum planmäßigen Löschen erstellt wurde, um Einstellungen für das planmäßige Löschen zu ändern oder zu entfernen. Übergeben Sie hierfür die folgenden Flags zum planmäßigen Löschen an den Befehl gcloud dataproc clusters update. Andere Flags zur Clusteraktualisierung können nicht mit den Flags zum planmäßigen Löschen kombiniert werden.

Flag	Beschreibung	Feinste Granularität	Mindestwert	Maximalwert
`--max-idle`¹	Der Zeitraum von dem Moment an, in dem der Cluster in den Ruhezustand wechselt, bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie die Dauer im Format `IntegerUnit` an, wobei die Einheit "s, m, h, d" (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: "30m" oder "1d" (30 Minuten oder 1 Tag ab dem Zeitpunkt, zu dem der Cluster inaktiv wird)	1 Sekunde	5 Minuten	14 Tage
`--no-max-idle`	Bricht das automatische Löschen des Clusters ab, wenn der Cluster für den im Flag "max-idle" festgelegten Zeitraum inaktiv war.	Nicht zutreffend	Nicht zutreffend	Nicht zutreffend
`--expiration-time`²	Die Zeit zum Starten des Löschvorgangs des Clusters im ISO 8601-Datetime-Format. Mit dem Zeitstempel-Generator können Sie Datum/Uhrzeit mühelos im richtigen Format generieren. "2017-08-22T13:31:48-08:00" gibt beispielsweise die Ablaufzeit 13:21:48 in der Zeitzone UTC -8:00 an.	1 Sekunde	10 Minuten ab der aktuellen Uhrzeit. Der neue Zeitpunkt darf nicht vor dem zuvor festgelegten Zeitpunkt liegen.	14 Tage ab der aktuellen Uhrzeit
`--max-age`²	Der Zeitraum ab der Übergabe der Anfrage zur Aktualisierung des Clusters bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie die Dauer im Format `IntegerUnit` an, wobei die Einheit "s, m, h, d" (Sekunden, Minuten, Stunden, Tage) sein kann. Beispiele: "30m" (30 Minuten ab jetzt); "1d" (1 Tag ab jetzt)	1 Sekunde	10 Minuten. Die aktualisierte Zeit für das planmäßige Löschen (Aktualisierungszeit + neuer max-age-Zeitraum) darf nicht vor der zuvor festgelegten Löschzeit des Clusters liegen.	14 Tage
`--no-max-age`	Bricht das automatische Löschen des Clusters ab, wenn der Cluster das im Flag "max‑age" oder "expiration‑time" festgelegte maximale Alter erreicht hat.	Nicht zutreffend	Nicht zutreffend	Nicht zutreffend

¹ Sie können das Flag --max-idle mit dem Flag --expiration-time oder --max-age in Ihrer Anfrage zur Clusteraktualisierung übergeben. Das erste eintretende Flag führt zum Herunterfahren des Clusters.
² Sie können das Flag --expiration-time oder das Flag --max-age an den Befehl zum Aktualisieren des Clusters übergeben, aber nicht beide.

gcloud dataproc clusters update cluster-name \
    --region=region \
    --max-idle=duration \
    --no-max-age \
    ... other flags

REST API

Sie können einen Cluster mit der Funktion "Geplantes Löschen von Clustern" erstellen, indem Sie in der API-Anfrage cluster.create oder cluster.patch die folgenden ClusterLifeczyklusConfig-Felder festlegen.

Flag	Beschreibung	Feinste Granularität	Mindestwert	Maximalwert
`idleDeleteTtl`¹	Der Zeitraum von dem Moment an, in dem der Cluster in den Ruhezustand wechselt, bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen und einem 's' an letzter Stelle an. Beispiel: "3.5s".	1 Sekunde	5 Minuten nach dem Erstellen oder Aktualisieren des Clusters. Beim Aktualisieren eines Clusters muss der neue Wert größer als der zuvor festgelegte Wert sein. Senden Sie eine cluster.patch-Anfrage mit einem leeren Zeitraum, um einen zuvor festgelegten Wert von `idleDeleteTtl` außer Kraft zu setzen.	14 Tage
`autoDeleteTime`²	Die Zeit, zu der der Löschvorgang des Clusters startet. Geben Sie einen Zeitstempel im Format RFC 3339 UTC "Zulu'" in Nanosekunden an. Beispiel: "2014-10-02T15:01:23.045123456Z".	1 Sekunde	10 Minuten ab der aktuellen Uhrzeit. Beim Aktualisieren eines Clusters muss der neue Zeitpunkt nach dem zuvor festgelegten Zeitpunkt liegen.	14 Tage ab der aktuellen Uhrzeit
`autoDeleteTtl`²	Der Zeitraum ab dem Zeitpunkt der Übergabe des Requests zur Erstellung oder Aktualisierung des Clusters bis zu dem Moment, in dem der Löschvorgang des Clusters beginnt. Geben Sie eine Dauer in Sekunden mit bis zu neun Nachkommastellen und einem 's' an letzter Stelle an. Beispiel: "3.5s".	1 Sekunde	10 Minuten. Beim Aktualisieren eines Clusters muss die neue Zeit für das planmäßige Löschen (Aktualisierungszeit + neuer max-age-Zeitraum) nach der zuvor festgelegten Löschzeit des Clusters liegen. Senden Sie eine cluster.patch-Anfrage mit einem leeren Zeitraum, um einen zuvor festgelegten Wert von `autoDeleteTtl` außer Kraft zu setzen.	14 Tage

¹ Sie können sowohl idleDeleteTtl als auch autoDeleteTime oder autoDeleteTtl in Ihre Anfrage zum Erstellen des Clusters festlegen. Das erste eintretende Flag führt zum Herunterfahren des Clusters.
² Sie können entweder autoDeleteTime oder autoDeleteTtl in der Anfrage zur Clustererstellung festlegen, aber nicht beide.

Console

Öffnen Sie die Dataproc-Seite Cluster erstellen und wählen Sie dann das Fenster „Cluster anpassen“ aus. Scrollen Sie nach unten zum Abschnitt „Geplantes Löschen“ und wählen Sie die Optionen aus, die auf den Cluster angewendet werden sollen.

Einstellungen zum planmäßigen Löschen von Clustern aufrufen

gcloud-Befehl

Sie können den Befehl gcloud dataproc clusters list verwenden, um zu bestätigen, dass für einen Cluster das geplante Löschen aktiviert ist.

 gcloud dataproc clusters list \
     --region=region

...
NAME         WORKER_COUNT ... SCHEDULED_DELETE
cluster-id   number       ... enabled
...

Mit dem Befehl gcloud dataproc clusters describe können Sie die LifecycleConfig-Einstellungen des Clusters zum geplanten Löschen prüfen.

gcloud dataproc clusters describe cluster-name \
    --region=region

...
lifecycleConfig:
  autoDeleteTime: '2018-11-28T19:33:48.146Z'
  idleDeleteTtl: 1800s
  idleStartTime: '2018-11-28T18:33:48.146Z'
...

Die Werte autoDeleteTime und idleDeleteTtl sind die geplanten Konfigurationswerte zum Löschen, die zuvor vom Nutzer im Cluster festgelegt wurden. Dataproc generiert den Wert idleStartTime, die letzte Startzeit für die Inaktivität des Clusters. Dataproc löscht den Cluster, wenn der Cluster bei den Werten idleStartTime + idleDeleteTtl inaktiv bleibt.

REST API

Sie können eine cluster.list-Anfrage senden, um zu bestätigen, dass die Funktion zum planmäßigen Löschen eines Clusters aktiviert ist.

Console

Sie können die Einstellungen für das Löschen von Clustern aufrufen. Wählen Sie dazu den Clusternamen auf der Dataproc-Clusterseite in der Google Cloud Console aus. Wählen Sie auf der Detailseite des Clusters den Tab KONFIGURATION aus. Scrollen Sie in der Liste der Clusterkonfigurationen nach unten, um die Einstellungen zum planmäßigen Löschen anzuzeigen.