Clusterknoten für einzelne Mandanten

Dataproc-Cluster können auf Compute Engine-Knoten für einzelne Mandanten erstellt werden. Ein Knoten für einzelne Mandanten ist ein Compute Engine-Server, auf dem nur die VMs Ihres Projekts gehostet werden. Wenn Sie einen Dataproc-Cluster auf einem Knoten für einen einzelnen Mandanten erstellen, werden die VMs des Clusters von VMs in anderen Projekten getrennt. Die Cluster funktionieren als Standard-Dataproc-Cluster, jedoch mit zusätzlicher Hardwareisolation, um Sicherheits- und Compliance-Probleme zu lösen.

Dataproc-Knotencluster für einzelne Mandanten werden in einer benutzerdefinierten Knotengruppe für einzelne Mandanten erstellt. Die Master-, Worker- und sekundären Worker-Instanzen jedes Clusters werden in dieser Knotengruppe für einzelne Mandanten erstellt.

Achtung: Dataproc verwendet standardmäßig für sekundäre Worker VMs auf Abruf, die nicht von Compute Engine-Knoten für einzelne Mandanten unterstützt werden. Wenn Sie sekundäre Worker mit Ihrem Cluster für einzelne Mandanten verwenden möchten, indem Sie sie manuell hinzufügen oder eine Autoscaling-Richtlinie verwenden, die sekundäre Worker vertikal skaliert, müssen Sie den sekundären Worker-Typ auf „Nicht abrufbar“ einstellen.

Erste Schritte

1. Siehe Vorbereitung.

2. Knotenvorlage für einzelne Mandanten erstellen.

3. Knotengruppe für einzelne Mandanten erstellen.

   • Verwenden Sie Autoscaling-Knotengruppen, wenn Sie Autoscaling-Cluster in der Knotengruppe für einzelne Mandanten erstellen.

     Empfehlungen für das Autoscaling von Knotengruppen:

     • Achten Sie darauf, dass die max-nodes der Knotengruppe für die maxInstances der Cluster, die Sie in der Knotengruppe für einzelne Mandanten erstellen, ausreichend ist.
     • Verwenden Sie die Standard- oder migrate-within-node-group-Knotengruppen-Wartungsrichtlinie; VMs sind mit der Richtlinie restart-in-place möglicherweise bis zu einer Stunde nicht verfügbar.

Cluster für einzelnen Mandanten erstellen

• Lesen Sie die Informationen unter VM-Einschränkungen für Knoten für einzelne Mandanten, bevor Sie einen Cluster für einzelne Mandanten erstellen.

• Beim Erstellen eines Autoscaling-Clusters in einer Knotengruppe für einzelne Mandanten empfiehlt es sich, dass auch die Knotengruppe Autoscaling verwendet. Weitere Informationen finden Sie unter Empfehlungen für Autoscaling von Knotengruppen.

gcloud-Befehl

Um einen Cluster für einzelnen Mandanten zu erstellen, übergeben Sie das Flag --node-group an den Befehl gcloud dataproc clusters create.

Notizen melden:

• --region (erforderlich): Muss mit der Region der Gruppe für einzelne Mandanten übereinstimmen.
• --node-group (erforderlich): Sie können den Namen der Knotengruppe für einzelne Mandanten ("node-group-name") oder den Ressourcen-URI der Knotengruppe für einzelne Mandanten ("projects/project-id/zones/zone/nodeGroups/node-group-name") angeben.
• --zone (erforderlich): Die Clusterzone muss mit der Knotengruppezone für einzelne Mandanten übereinstimmen.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --zone=zone \
    --node-group=node group resource name or URI \
    ... other args
  

REST API

Erstellen Sie einen Cluster für einzelne Mandanten mit der Anfrage clusters.create. Diese gibt die NodeGroupAffinity.nodeGroupUri der Knotengruppe für einzelne Mandanten an.

Hinweis: Die im Feld zoneUri angegebene Clusterzone muss mit der einzelner Mandant-Knotengruppenzone übereinstimmen.

Eine einfache Möglichkeit, den JSON-Text einer Dataproc API-Clusteranfrage zu untersuchen und zu erstellen, besteht darin, die Google Cloud Console-Seite Cluster erstellen zu öffnen, die entsprechenden Felder auf der Seite auszufüllen. Klicken Sie dann unten im linken Bereich auf die Schaltfläche Äquivalente REST-Anfrage, um die POST-Anfrage mit dem abgeschlossenen JSON-Anfragetext aufzurufen.

Console

Derzeit wird das Erstellen eines Dataproc-Clusters für einzelne Mandanten in der Google Cloud Console nicht unterstützt.