Sekundäre Dataproc-Worker

Dataproc-Cluster können nicht nur Standard-Compute Engine-VMs als Dataproc-Worker (genannt „primäre“ Worker) verwenden, sondern auch secondary-Worker.

Die folgenden Eigenschaften gelten für alle sekundären Worker in einem Dataproc-Cluster:

  • Nur Verarbeitung – Sekundäre Worker speichern keine Daten. Sie funktionieren nur als Knotenknoten. Daher können Sie sekundäre Worker verwenden, um die Computing-Skalierung zu skalieren, ohne den Speicher zu skalieren.

  • Keine nur sekundäre-Worker-Cluster: Ihr Cluster muss primäre Worker haben. Wenn Sie einen Cluster erstellen und die Anzahl der primären Worker nicht angeben, fügt Dataproc dem Cluster zwei primäre Worker hinzu.

  • Maschinentyp: Sekundäre Worker verwenden standardmäßig den Maschinentyp der primären Worker des Clusters. Wenn Sie beispielsweise einen Cluster mit primären Workern erstellen, die n1-standard-4-Maschinentypen verwenden, werden standardmäßig alle sekundären Worker, die dem Cluster hinzugefügt wurden, ebenfalls n1-standard-4-Maschinen verwenden.

    Anstatt den Standardmaschinentyp für primäre Worker für sekundäre Worker zu verwenden, können Sie eine oder mehrere sortierte Listen mit Maschinentypen für sekundäre Worker angeben. Weitere Informationen finden Sie unter Flexible VMs in Dataproc.

  • Größe des nichtflüchtigen Speichers – Die sekundären Worker werden standardmäßig mit der kleineren Größe von 100 GB oder der Größe des Bootlaufwerks primärer Worker erstellt. Der Speicherplatz wird für das lokale Caching von Daten verwendet und ist nicht über HDFS verfügbar. Sie können die Standardlaufwerkgröße mit dem Befehl gcloud dataproc clusters create --secondary-worker-boot-disk-size beim Erstellen des Clusters überschreiben. Sie können dieses Flag auch dann angeben, wenn der Cluster beim Erstellen keine sekundären Worker hat.

  • Asynchrone Erstellung: Wenn Sie durch Erstellen oder Skalieren eines Clusters sekundäre Worker hinzufügen, werden die sekundären Worker möglicherweise nicht zum Zeitpunkt der Erstellung oder Aktualisierung bereitgestellt. Das liegt daran, dass Dataproc sekundäre Worker mithilfe von verwalteten Instanzgruppen verwaltet, die VMs asynchron erstellen, sobald sie bereitgestellt werden können (siehe Status verwalteter Instanzen prüfen).

Sekundäre Worker auf Abruf und nicht auf Abruf

Es gibt drei Arten von sekundären Workern: Spot-VMs, standardmäßige VMs auf Abruf und nicht auf Abruf verfügbare VMs. Der standardmäßige sekundäre Worker-Typ von Dataproc ist die standardmäßige VM auf Abruf. Sie können eine Mischung aus Spot- und nicht auf Abruf verfügbaren sekundären Workern angeben.

Beispiel: Wenn Sie beim Erstellen eines Clusters drei sekundäre Worker auswählen, können Sie drei Spot-VMs, drei VMs auf Abruf, drei nicht auf Abruf verfügbare VMs oder einen Mix aus Spot- und nicht auf Abruf verfügbaren Workern angeben.

Worker auf Abruf

  • Die potenzielle Entfernung von Workern auf Abruf kann sich auf die Stabilität von Jobs auswirken. Sie können jedoch Instanzen auf Abruf dafür nutzen, die Computing-Kosten pro Stunde für nicht kritische Datenverarbeitung zu verringern oder sehr große Cluster zu geringeren Gesamtkosten zu erstellen. Mit dem Google Cloud-Preisrechner können Sie die Kosten schätzen.

  • Die besten Ergebnisse erzielen Sie, wenn die Anzahl der Worker auf Abruf in Ihrem Cluster weniger als 50% der Gesamtzahl aller Worker (primäre und alle sekundären Worker) im Cluster beträgt.

  • Bei der Verwendung von Workern auf Abruf werden Ihre Jobs höchstwahrscheinlich eine größere Anzahl an vorübergehenden Ausfällen einzelner Worker-Aufgaben im Vergleich zu Jobs haben, die mit Workern ausgeführt werden, die nicht auf Abruf sind. Damit die Jobtoleranz für Aufgabenfehler auf niedriger Ebene erhöht wird, können Sie ähnliche Werte für Clusterattribute festlegen wie bei den Standardattributwerten für Autoscaling-Cluster. So werden die maximale Anzahl von Aufgabenwiederholungen erhöht und Jobfehler vermieden.

  • Kosteneinsparungen:Die Verwendung von VMs auf Abruf führt nicht immer zu Kosteneinsparungen, da Unterbrechungen zu einer längeren Jobausführung und damit zu höheren Jobkosten führen können. Die Verwendung des Enhanced Flexibility Mode (EFM) mit VMs auf Abruf kann zwar dazu beitragen, dieses Ergebnis zu mildern, die Gesamtkosteneinsparungen von VMs auf Abruf variieren jedoch je nach Anwendungsfall. Im Allgemeinen eignen sich kurzlebige Jobs besser für die Verwendung von VMs auf Abruf, da die Wahrscheinlichkeit von Unterbrechungen während der Jobausführung geringer ist. Probieren Sie verschiedene Joboptionen aus, z. B. keine VMs auf Abruf und VMs auf Abruf mit EFM, um die Kosten zu schätzen und die beste Lösung zu finden.

Nicht auf Abruf verfügbare Worker

Sekundäre Worker auswählen

Sie können die Anzahl und den Typ der sekundären Worker angeben, wenn Sie einen Cluster mit der Google Cloud Console, der gcloud CLI oder der Dataproc API erstellen.

  • Sie können Speicherorte mit sekundären Workern nicht auf Abruf kombinieren.
  • Sie können den Cluster aktualisieren, nachdem er erstellt wurde, um die Anzahl zu ändern, jedoch nicht den Typ der sekundären Worker im Cluster.
  • Labelaktualisierungen werden innerhalb von 24 Stunden an alle sekundären Worker auf Abruf übertragen. Labelaktualisierungen werden nicht an vorhandene sekundäre Worker ohne Abruf weitergegeben. Labelaktualisierungen werden an alle Worker weitergegeben, die einem Cluster nach einer Labelaktualisierung hinzugefügt wurden. Wenn Sie beispielsweise den Cluster hochskalieren, haben alle neuen primären und sekundären Worker die neuen Labels.

Console

Beim Erstellen eines Dataproc-Clusters über die Google Cloud Console können Sie die Anzahl der sekundären Worker angeben. Nachdem ein Cluster erstellt wurde, können Sie sekundäre Worker hinzufügen und entfernen, indem Sie die Clusterkonfiguration in der Google Cloud Console bearbeiten.

Cluster mit sekundären Workern erstellen

Sie können die Anzahl und den Typ der sekundären Worker, die auf einen neuen Cluster angewendet werden sollen, im Abschnitt Sekundäre Worker-Knoten des Steuerfelds Knoten konfigurieren auf der Dataproc-Seite Cluster erstellen der Google Cloud Console festlegen. Geben Sie die Anzahl und den Typ der sekundären Worker in den Feldern Sekundäre Workerknoten bzw. Abrufbarkeit an.

Cluster mit sekundären Instanzen aktualisieren

Klicken Sie in der Google Cloud Console auf der Seite Cluster auf den Namen des Clusters, um die Anzahl der sekundären Worker in einem Cluster zu aktualisieren. Auf der Seite Clusterdetails. Klicken Sie auf den Tab „Konfiguration“ und dann auf Bearbeiten und aktualisieren Sie die Nummer im Feld „Sekundäre Worker-Knoten“.

Alle sekundären Instanzen aus einem Cluster entfernen

Wenn Sie alle sekundären Worker aus einem Cluster entfernen möchten, aktualisieren Sie die Clusterkonfiguration wie oben beschrieben und geben Sie im Feld „Sekundäre Worker-Knoten“ 0 an.

Google Cloud CLI-Befehl

Verwenden Sie den Befehl gcloud dataproc clusters create, um einem Cluster bei seiner Erstellung sekundäre Worker hinzuzufügen. Nachdem ein Cluster erstellt wurde, können Sie mit dem Befehl gcloud dataproc clusters update sekundäre Worker hinzufügen oder aus dem Cluster entfernen (die Zahl, aber nicht der Typ der sekundären Worker kann aktualisiert werden).

Cluster mit sekundären Workern erstellen

Um einen Cluster mit sekundären Workern zu erstellen, verwenden Sie den Befehl gcloud dataproc clusters create mit dem Argument --num-secondary-workers. Sekundäre Worker sind standardmäßig VMs auf Abruf. Sie können beim Erstellen eines Clusters nicht auf Abruf verfügbare oder Spot-Sekundäre Worker angeben, indem Sie das Flag --secondary-worker-type auf „non-preemptible“ oder „spot“ festlegen. In den folgenden Beispielen wird gezeigt, wie Sie einen Cluster mit den einzelnen Typen von sekundären Workern erstellen: „preemptible“ (Standard), Spot (auf Abruf) und nicht auf Abruf. Mithilfe zusätzlicher Flags können Sie Speicherplatz mit nicht auf Abruf verfügbaren sekundären Workern kombinieren.

Beispiel 1

Mit dem folgenden Befehl wird „cluster1“ mit zwei standardmäßigen sekundären Workern auf Abruf (Standardtyp) erstellt.

gcloud dataproc clusters create cluster1 \
    --num-secondary-workers=2 \
    --region=us-central1
Beispiel 2

Der folgende Befehl verwendet das Flag secondary-worker-type, um „cluster2“ mit zwei Spot-Workern (auf Abruf) zu erstellen.

gcloud dataproc clusters create cluster2 \
    --num-secondary-workers=2 \
    --secondary-worker-type=spot \
    --region=us-central1

Beispiel 3:

Der folgende Befehl verwendet das Flag secondary-worker-type, um „cluster3“ mit zwei nicht auf Abruf verwendeten sekundären Workern zu erstellen.

gcloud dataproc clusters create cluster3 \
    --num-secondary-workers=2 \
    --secondary-worker-type=non-preemptible \
    --region=us-central1
Größe des Bootlaufwerks für sekundäre Worker ändern Die Kapazität für sekundäre Worker ist standardmäßig die geringere dieser beiden Größen: entweder 100 GB oder die Größe des Bootlaufwerks primärer Worker. Der Speicherplatz wird für das lokale Caching von Daten verwendet und ist nicht über HDFS verfügbar. Sie können die Standardlaufwerkgröße mit dem Befehl gcloud dataproc clusters create --secondary-worker-boot-disk-size beim Erstellen des Clusters überschreiben. Dieses Flag kann auch dann angegeben werden, wenn der Cluster beim Erstellen keine sekundären Worker hat. Anfrage zur Clustererstellung über die Google Cloud Console Klicken Sie links unten auf der Dataproc-Seite Cluster erstellen auf die Links Entsprechende REST- oder Befehlszeile, damit die Google Cloud Console eine entsprechende API REST-Anfrage oder einen Befehl des gcloud-Tools erstellt.

Cluster mit sekundären Workern aktualisieren

Wenn Sie einen Cluster zum Hinzufügen oder Entfernen sekundärer Worker aktualisieren möchten, verwenden Sie den Befehl gcloud dataproc clusters update mit dem Flag --num-secondary-workers.

Beispiel

Mit dem folgenden Befehl wird beispiel-cluster aktualisiert, um vier sekundäre Worker (des Standardtyps oder des beim Erstellen des Clusters angegebenen Typs) zu verwenden.

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=4 \
    --region=us-central1

Alle sekundären Worker aus einem Cluster entfernen

Wenn Sie alle sekundären Worker aus einem Cluster entfernen möchten, verwenden Sie den Befehl gcloud dataproc clusters update, wobei --num-secondary-workers auf 0 gesetzt ist.

Beispiel

Mit dem folgenden Befehl werden alle sekundären Worker aus „beispiel-cluster“ entfernt.

gcloud dataproc clusters update example-cluster \
    --num-secondary-workers=0 \
    --region=us-central1

REST API

Cluster mit sekundären Workern erstellen

Die Dataproc API clusters.create fügt sekundäre Worker einem Cluster hinzu, wenn der Cluster erstellt wird. In den folgenden Beispielen wird gezeigt, wie Sie einen Cluster mit den einzelnen Sekundär-Arbeitertypen erstellen: preemptible (Standard), spot (vorzeitig beendbar) und non-preemptible. Mit zusätzlichen Feldern können Sie Speicherorte mit nicht auf Abruf verfügbaren sekundären Workern kombinieren.

Beispiel 1

Mit der folgenden POST-Anfrage wird „cluster1“ mit zwei standardmäßigen VM-Workern auf Abruf (Standardtyp) erstellt.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster1",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  }
}
Beispiel 2

Mit der folgenden POST-Anfrage wird ein Cluster „cluster2“ mit zwei Spot-VM-Workern (auf Abruf) erstellt.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster2",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "SPOT"
    }
  }
}

Beispiel 3:

Mit der folgenden POST-Anfrage wird „cluster3“ mit zwei nicht auf Abruf verwendeten sekundären Workern erstellt.


POST https://dataproc.googleapis.com/v1/projects/project-id/regions/region/clusters

{
  "clusterName": "cluster3",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 2,
      "preemptibility": "NON_PREEMPTIBLE"
    }
  }
}

Cluster mit sekundären Workern aktualisieren

Mit der Dataproc API clusters.patch können Sie sekundäre Worker hinzufügen und entfernen.

Beispiel

Mit der folgenden PATCH-Anfrage wird ein Cluster mit vier sekundären Workern aktualisiert (vom Standardtyp oder dem beim Erstellen des Clusters angegebenen Typ).


PATCH /v1/projects/project-id/regions/region/clusters/cluster-name?updateMask=config.secondary_worker_config.num_instances
{
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 4
    }
  }
}
Anfrage zur Clustererstellung über die Google Cloud Console: Klicken Sie links unten auf der Dataproc-Seite Cluster erstellen auf die Links Entsprechende REST oder Befehlszeile, damit die Google Cloud Console eine entsprechende API REST-Anfrage oder einen Befehl der gcloud-Befehlszeile erstellt.

Fehlerbehebung bei sekundären Workern

  • Probleme mit Dienstkontoberechtigungen:Sekundäre Worker werden über eine verwaltete Instanzgruppe erstellt. Bei einem Berechtigungsproblem wird in den Dataproc-Protokollen nicht gemeldet, dass die Erstellung sekundärer Worker fehlgeschlagen ist. Die fehlgeschlagenen Worker werden jedoch in der Google Cloud Console auf der Seite Clusterdetails auf dem Tab VM-Instanzen ohne grünes Häkchen aufgeführt. Wenn Sie sich den Eintrag ansehen möchten, öffnen Sie die Seite Dataproc-Cluster und klicken Sie auf den Clusternamen, um die Seite Clusterdetails für den Cluster zu öffnen.

  • Probleme mit Berechtigungen für verwaltete Instanzgruppen: So prüfen Sie, ob ein Problem mit den Berechtigungen für verwaltete Instanzgruppen vorliegt:

    1. Suchen Sie den Namen der verwalteten Instanzgruppe (instanceGroupManagerName).

      Console

      1. Öffnen Sie die Dataproc-Seite Cluster und klicken Sie auf den Clusternamen, um die Seite Clusterdetails für den Cluster zu öffnen.
      2. Klicken Sie unten auf der Seite auf REST-Äquivalent und sehen Sie sich den config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName-Wert an.

      Google Cloud CLI

      Führen Sie den Befehl gcloud dataproc clusters describe mit dem Flag --format aus, um die instanceGroupManagerName aufzurufen. 
      gcloud dataproc clusters describe CLUSTER_NAME \
    --region=REGION \
    --format='value(config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName)'

      REST API

      Reichen Sie eine clusters.get--Anfrage ein, um den Wert von config.secondaryWorkerConfig.managedGroupConfig.instanceGroupManagerName zurückzugeben.
    2. Rufen Sie die Logs im Log-Explorer auf.

    • Wählen Sie den Ressourcentyp Google Compute Engine Instance Group aus und filtern Sie nach dem Namen der verwalteten Instanzgruppe.

    • Alternativ können Sie einen Logging-Filter für „resource.type="gce_instance_group" und resource.labels.instance_group_name=INSTANCE_GROUP_MANAGER_NAME anwenden.

Spot mit nicht auf Abruf verfügbaren sekundären Workern kombinieren

Beim Erstellen eines Dataproc-Clusters können Sie eine Mischung aus Spot- und nicht auf Abruf verfügbaren sekundären Workern angeben.

Einstellungen für sekundäre Worker, um Spot- mit nicht auf Abruf verfügbaren sekundären Workern zu kombinieren

Verwenden Sie die folgenden Einstellungen für sekundäre Worker, wenn Sie einen Dataproc-Cluster erstellen, um eine Mindestkapazität für sekundäre Worker zu erhalten und die Kapazität zu erhöhen, wenn Spot-VMs verfügbar sind:

  • secondary worker number (Anzahl der sekundären Worker): Die Gesamtzahl der zu bereitzustellenden sekundären Worker.

  • Sekundärer Worker-Typ:spot ist der sekundäre Worker-Typ, wenn Spot-Worker mit nicht auf Abruf verfügbaren sekundären Workern kombiniert werden.

  • standardCapacityBase:Die Anzahl der nicht auf Abruf verfügbaren (standardmäßigen) sekundären Worker, die bereitgestellt werden sollen. Sekundäre Worker, die nicht auf Abruf verfügbar sind, werden vor anderen Arten von sekundären Workern bereitgestellt.

  • standardCapacityPercentAboveBase:Nachdem die standardCapacityBase sekundären Worker bereitgestellt wurden, wird die verbleibende Anzahl der sekundären Worker, die erforderlich ist, um die Gesamtzahl der angeforderten sekundären Worker zu erreichen, mit einer Mischung aus nicht auf Abruf verfügbaren und Spot-VMs auf folgende Weise bereitgestellt:

    • standardCapacityPercentAboveBase: Der Prozentsatz der verbleibenden sekundären Worker, die mit nicht vorab nehmbaren VMs gefüllt werden sollen.
    • Die verbleibende Anzahl, die erforderlich ist, um die Gesamtzahl der angeforderten sekundären Arbeitskräfte zu erreichen, wird mit Spot-VMs aufgefüllt.

Beispiel:

  • Anzahl der sekundären Worker: 15
  • standardCapacityBase: 5
  • standardCapacityPercentAboveBase 30%

Ergebnis:

  • Nicht unterbrechbar: 8 = 5 (standardCapacityBase) + 3 (30% der verbleibenden 10)
  • Anzeigenblock: 7 (70% der verbleibenden 10)
  • Gesamt: 15

Cluster mit einer Mischung aus Spot- und nicht auf Abruf verfügbaren sekundären Workern erstellen

Sie können die gcloud CLI oder die Dataproc API verwenden, um beim Erstellen eines Clusters Spot- mit nicht auf Abruf verfügbaren sekundären Workern zu kombinieren.

gcloud

Führen Sie den folgenden Befehl lokal oder in Cloud Shell aus, um einen Cluster mit einer Mischung aus Spot- und nicht auf Abruf verwendeten sekundären Arbeitsstationen zu erstellen.

gcloud dataproc clusters create CLUSTER_NAME \
    --project=PROJECT_ID \
    --region=REGION \
    --secondary-worker-type=spot \
    --num-secondary-workers=NUMBER_SECONDARY_WORKERS \
    --secondary-worker-standard-capacity-base=STANDARD_CAPACITY_BASE \
    --secondary-worker-standard-capacity-percent-above-base=STANDARD_CAPACITY_PERCENT_ABOVE_BASE \
    OTHER_FLAGS_AS_NEEDED

Hinweise:

API

Wenn Sie Spot- mit nicht vorzeitig beendbaren sekundären Workern kombinieren möchten, legen Sie die Dataproc-API-Felder preemptibility, standardCapacityBase und standardCapacityPercentAboveBase als Teil einer cluster.create-Anfrage fest, wie im folgenden JSON-Beispiel gezeigt:

{
  "clusterName": "CLUSTER_NAME",
  "config": {
    "secondaryWorkerConfig": {
      "numInstances": 15,
      "preemptibility": "spot",
      "instanceFlexibilityPolicy": {
        "provisioningModelMix": {
          "standardCapacityBase": STANDARD_CAPACITY_BASE
          "standardCapacityPercentAboveBase": STANDARD_CAPACITY_PERCENT_ABOVE_BASE
        }
      }
    }
  }
}

Hinweise:

Kombination von sekundären Workern mit flexiblen VMs

Sie können Spot- und nicht auf Abruf verfügbare sekundäre Worker kombinieren und beim Erstellen eines Clusters flexible VM-Formen für sekundäre Worker angeben.

Beispiel für die gcloud CLI:

gcloud dataproc clusters create cluster-name \
    --project=project-id \
    --region=us-cdbtral1 \
    --secondary-worker-type=spot \
    --num-secondary-workers=15 \
    --secondary-worker-standard-capacity-base=5 \
    --secondary-worker-standard-capacity-percent-above-base=30 \
    --secondary-worker-machine-types="type=n2-standard-8,rank=0" \
    --secondary-worker-machine-types="type=e2-standard-8,type=t2d-standard-8,rank=1"
    ...other flags as needed

Mischungsmerkmale sekundärer Worker

In diesem Abschnitt werden einige Verhaltensweisen und Merkmale beschrieben, die mit der Kombination von Spot- und nicht auf Abruf verfügbaren sekundären Workern verbunden sind.

Einstellung für sekundäre Worker

Dataproc bevorzugt weder Spot-VMs noch nicht auf Abruf verwendete VMs beim Planen von Anwendungen auf sekundären Workern.

Skalierung sekundärer Worker

Wenn sekundäre Worker durch Autoscaling oder manuelle Skalierung skaliert werden, behält Dataproc das angeforderte Verhältnis von Spot- zu nicht abrufbaren Workern bei, wenn sekundäre Worker hinzugefügt oder gelöscht werden.

Einstellungen für den Mix aus sekundären Workern aktualisieren

Sie geben die Mischung aus Spot- und nicht auf Abruf verfügbaren sekundären Workern an, wenn Sie einen Dataproc-Cluster erstellen. Sie können die Einstellungen für den Mix aus sekundären Arbeitskräften nicht mehr ändern, nachdem Sie den Cluster erstellt haben.

Vorzeitiges Beenden von sekundären Spot-Workern

  • Dataproc steuert nicht den Zeitpunkt des vorzeitigen Beendens von Spot-VMs (siehe Vorzeitiges Beenden von Spot-VMs).
  • Wenn eine Spot-Vorabkündigung erfolgt, kann die sekundäre Worker-Gruppe vorübergehend mit reduzierter Kapazität ausgeführt werden, bis die Compute Engine die vorzeitig beendeten VMs neu bereitstellt.
  • Dataproc fügt einer Gruppe mit sekundären Workern keine Kapazität hinzu, die über die ursprünglichen Einstellungen der Gruppe hinausgeht.