Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Dataproc-Ressourcen mit benutzerdefinierten Einschränkungen verwalten

Mit der Google Cloud-Organisationsrichtlinie können Sie die Ressourcen Ihrer Organisation zentral und programmatisch steuern. Als Administrator für Organisationsrichtlinien können Sie eine Organisationsrichtlinie definieren. Dabei handelt es sich um eine Reihe von Einschränkungen, die für Google Cloud-Ressourcen und ihre Nachfolger in der Google Cloud-Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.

Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedene Google Cloud-Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt sind, können Sie auch benutzerdefinierte Einschränkungen erstellen und diese benutzerdefinierten Einschränkungen in einer Organisationsrichtlinie verwenden.

Vorteile

Sie können eine benutzerdefinierte Organisationsrichtlinie verwenden, um bestimmte Vorgänge in Dataproc-Clustern zuzulassen oder abzulehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die benutzerdefinierte Einschränkung gemäß Ihrer Organisationsrichtlinie nicht erfüllt, schlägt die Anfrage fehl und ein Fehler wird an den Aufrufer zurückgegeben.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den untergeordneten Elementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte im Ordner. Weitere Informationen zu diesem Verhalten und dessen Änderung finden Sie unter Evaluierungsregeln für Hierarchien.

Preise

Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Einschränkungen, wird kostenlos angeboten.

Beschränkungen

  • Wenn in der Vorschau eine benutzerdefinierte Einschränkung nicht ausgewertet werden kann, z. B. wenn der Server für Organisationsrichtlinien ausgefallen ist, wird die benutzerdefinierte Einschränkung ignoriert und Nutzer können Ressourcen erstellen, als wäre die Einschränkung nicht festgelegt. Syntaxfehler in CEL-Bedingungen (Common Expression Language) werden nicht ignoriert und führen dazu, dass die Erstellung oder Erzwingung einer Einschränkung fehlschlägt. Weitere Informationen finden Sie unter CEL-Fehler beheben.

Hinweis

  1. Projekt einrichten
    1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
    2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

      Zur Projektauswahl

    3. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist.

    4. Dataproc API aktivieren.

      Aktivieren Sie die API

    5. Installieren Sie die Google Cloud CLI.
    6. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

      gcloud init
    7. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

      Zur Projektauswahl

    8. Die Abrechnung für das Cloud-Projekt muss aktiviert sein. So prüfen Sie, ob die Abrechnung für ein Projekt aktiviert ist.

    9. Dataproc API aktivieren.

      Aktivieren Sie die API

    10. Installieren Sie die Google Cloud CLI.
    11. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

      gcloud init
    12. Prüfen Sie, ob Sie Ihre Organisations-ID kennen.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Organisationsrichtlinien benötigen:

  • Administrator von Organisationsrichtlinien (roles/orgpolicy.policyAdmin) für die Organisationsressource
  • So erstellen oder aktualisieren Sie einen Dataproc-Cluster: Dataproc-Administrator oder Dataproc-Bearbeiter (roles/dataproc.admin oder roles/dataproc.editor) für die Projektressource

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Benutzerdefinierte Einschränkung erstellen

Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, auf die sie angewendet wird. Dataproc unterstützt benutzerdefinierte Einschränkungen, die auf die Methoden CREATE und UPDATE der Ressource CLUSTER angewendet werden (siehe Dataproc-Einschränkungen für Ressourcen und Vorgänge).

So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Dataproc-Einschränkung:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Dabei gilt:

  • ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.

  • CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Dieses Feld hat eine maximale Länge von 100 Zeichen und wird nicht mit dem Präfix gezählt (z. B. organizations/123456789/customConstraints/). Eine benutzerdefinierte Einschränkung muss mit custom. beginnen. Beispiel: custom.dataprocEnableComponentGateway

  • METHOD: Geben Sie beim Erstellen einer Einschränkung zum Erstellen von Clustern CREATE an. Geben Sie beim Erstellen der Clustereinschränkung UPDATE Folgendes an:
    methodTypes:
    - CREATE
    - UPDATE
    
  • CONDITION: eine CEL-Bedingung, die auf eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den Ressourcen, für die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel: resource.config.endpointConfig.enableHttpPortAccess==true

  • ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Das kann entweder ALLOW oder DENY sein.

  • DISPLAY_NAME: ein nutzerfreundlicher Name für die Einschränkung, z. B. „Aktivieren von Dataproc Component Gateway“. Dieses Feld hat eine maximale Länge von 200 Zeichen.

  • DESCRIPTION: eine menschenfreundliche Beschreibung der Einschränkung, die beim Verstoß gegen die Richtlinie als Fehlermeldung angezeigt wird, z. B. „Dataproc-Clustererstellung nur zulassen, wenn Component Gateway aktiviert ist“. Dieses Feld hat eine maximale Länge von 2000 Zeichen.

Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.

Benutzerdefinierte Einschränkung einrichten

Nachdem Sie mit der Google Cloud CLI eine neue benutzerdefinierte Einschränkung erstellt haben, müssen Sie sie so einrichten, dass sie für Organisationsrichtlinien in Ihrer Organisation verfügbar ist. Verwenden Sie den Befehl gcloud org-policies set-custom-constraint, um eine benutzerdefinierte Einschränkung einzurichten:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Ersetzen Sie CONSTRAINT_PATH durch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel: /home/user/customconstraint.yaml. Anschließend werden die benutzerdefinierten Einschränkungen in der Liste der Google Cloud-Organisationsrichtlinien als verfügbare Einschränkungen aufgeführt. Prüfen Sie mit dem Befehl gcloud org-policies list-custom-constraints, ob die benutzerdefinierte Einschränkung vorhanden ist:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Ersetzen Sie ORGANIZATION_ID durch die ID Ihrer Organisationsressource. Die Ausgabe sieht in etwa so aus:
CONSTRAINT: custom.dataprocEnableComponentGateway
LIST_POLICY: -
BOOLEAN_POLICY: SET
ETAG: COCsm5QGENiXi2E=
Weitere Informationen finden Sie unter Organisationsrichtlinien ansehen.

Benutzerdefinierte Einschränkung erzwingen

Sie können eine boolesche Einschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie auf eine Google Cloud-Ressource anwenden.

Console

So erzwingen Sie eine boolesche Einschränkung:

  1. Öffnen Sie in der Google Cloud Console die Seite Organisationsrichtlinien.

    Zur Seite „Organisationsrichtlinien“

  2. Klicken Sie oben auf der Seite auf Projektauswahl.
  3. Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
  4. Wählen Sie auf der Seite Organisationsrichtlinien die Einschränkung aus. Die Seite Richtliniendetails für diese Einschränkung sollte angezeigt werden.
  5. Klicken Sie auf Richtlinie verwalten, um die Organisationsrichtlinie für diese Ressource anzupassen.
  6. Wählen Sie auf der Seite Richtlinie bearbeiten die Option Anpassen aus.
  7. Klicken Sie auf Regel hinzufügen.
  8. Wählen Sie unter Erzwingung aus, ob die Durchsetzung dieser Organisationsrichtlinie aktiviert oder deaktiviert werden soll.
  9. Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie für ein Tag zu verwenden. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine unbedingte Regel hinzufügen. Andernfalls kann die Richtlinie nicht gespeichert werden. Weitere Informationen finden Sie unter Organisationsrichtlinien mit Tags festlegen.
  10. Klicken Sie auf Speichern, um den Vorgang abzuschließen und die Organisationsrichtlinie anzuwenden. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

gcloud

Erstellen Sie eine Richtlinien-JSON-Datei, die auf die Einschränkung verweist, um eine Organisationsrichtlinie zu erstellen, die eine boolesche Einschränkung erzwingt:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Dabei gilt:

  • PROJECT_ID ist das Projekt, für das Sie die Einschränkung erzwingen möchten.
  • CONSTRAINT_NAME ist der Name, den Sie für die benutzerdefinierte Einschränkung definiert haben. Beispiel: custom.dataprocEnableComponentGateway.

Führen Sie den folgenden Befehl aus, um die Organisationsrichtlinie zu erzwingen, die die Einschränkung enthält:

    gcloud org-policies set-policy POLICY_PATH
    

Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur JSON-Datei der Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

Benutzerdefinierte Einschränkung testen

Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Einschränkung erstellt und erzwungen wurde, damit Cluster Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true) aktivieren müssen.

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Beispielausgabe (Standardmäßig ist das Component Gateway nicht aktiviert, wenn ein Dataproc-Cluster erstellt wird):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Dataproc-Einschränkungen für Ressourcen und Vorgänge

Die folgenden benutzerdefinierten Dataproc-Einschränkungen sind verfügbar, wenn Sie einen Dataproc-Cluster erstellen oder aktualisieren. Beachten Sie, dass beim Aktualisieren eines Clusters nur die Einschränkungen in Bezug auf bearbeitbare Clusterparameter unterstützt werden (siehe Cluster aktualisieren).

  • Compute Engine-Netzwerkkonfiguration (networkUri, internalIpOnly, serviceAccount und Metadaten)
    • resource.config.gceClusterConfig.networkUri
    • resource.config.gceClusterConfig.internalIpOnly
    • resource.config.gceClusterConfig.serviceAccount
    • resource.config.gceClusterConfig.metadata
  • Compute Engine-Instanzgruppenkonfiguration (imageUri und MachineTypeUri)
    • resource.config.masterConfig.imageUri
    • resource.config.masterConfig.machineTypeUri
    • resource.config.workerConfig.imageUri
    • resource.config.workerConfig.machineTypeUri
    • resource.config.secondaryWorkerConfig.imageUri
    • resource.config.secondaryWorkerConfig.machineTypeUri
  • Initialisierungsaktionen (executableFile)
    • resource.config.initializationActions.executableFile
  • Softwarekonfiguration (imageVersion, Eigenschaften und optionale Komponenten)
    • resource.config.softwareConfig.imageVersion
    • resource.config.softwareConfig.properties
    • resource.config.softwareConfig.optionalComponents
  • Kerberos-Konfiguration (enableKerberos und crossRealmTrustKdc)
    • resource.config.securityConfig.kerberosConfig.enableKerberos
    • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
  • Component Gateway (enableHttpPortAccess)
    • resource.config.endpointConfig.enableHttpPortAccess
  • Metastore config (dataprocMetastoreService)
    • resource.config.metastoreConfig.dataprocMetastoreService
  • Persistent Disk CMEK (gcePdKmsKeyName)
    • resource.config.encryptionConfig.gcePdKmsKeyName
  • Clusterlabels
    • resource.labels
  • Clustergröße
    • resource.config.masterConfig.numInstances
    • resource.config.workerConfig.numInstances
    • resource.config.secondaryWorkerConfig.numInstances
  • Autoscaling
    • resource.config.autoscalingConfig.policyUri

Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle

Die folgende Tabelle enthält die Syntax einiger benutzerdefinierter Einschränkungen, die für Sie nützlich sein könnten:

Beschreibung Einschränkungssyntax
Beschränken Sie die Anzahl der Dataproc-Worker-Instanzen auf 10 oder weniger, wenn ein Cluster erstellt oder aktualisiert wird.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
Verhindern, dass der Anwendungsmaster auf Workern auf Abruf des Dataproc-Clusters ausgeführt wird.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  ("dataproc:am.primary_only" in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties["dataproc:am.primary_only"]=="true")
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
Benutzerdefinierte Hive-Attribute in Dataproc-Clustern nicht zulassen

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: resource.config.softwareConfig.properties.all(p, !p.startsWith("hive:"))
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
n1-standard-2-Maschinentyp auf Dataproc-Masterinstanzen nicht zulassen

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: resource.config.masterConfig.machineTypeUri.contains("n1-standard-2")
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Verwendung eines angegebenen Initialisierungsaktionsskripts erzwingen

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: resource.config.initializationActions.exists(action, action.executableFile=="gs://some/init-action.sh")
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh".
    initialization action script is used.
Nutzung eines angegebenen PD-Verschlüsselungsschlüssels erzwingen

    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: resource.config.encryptionConfig.gcePdKmsKeyName == "projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Einschränkungen für Clusterlabels erzwingen

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  ("env" in resource.labels) && (resource.labels.env=="test")
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".

Nächste Schritte