Dataproc-Ressourcen mit benutzerdefinierten Einschränkungen verwalten

Mit der Google Cloud-Organisationsrichtlinie können Sie die Ressourcen Ihrer Organisation zentral steuern. Als Administrator für Organisationsrichtlinien können Sie Folgendes definieren: Organisationsrichtlinie, wobei es sich um eine Reihe von Einschränkungen handelt, die für Google Cloud-Ressourcen und untergeordnete Elemente dieser Ressourcen in der Google Cloud-Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.

Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedene Google Cloud-Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt werden, können Sie auch benutzerdefinierte Einschränkungen erstellen und diese benutzerdefinierten Einschränkungen in einer benutzerdefinierten Organisationsrichtlinie verwenden.

Vorteile

Mit einer benutzerdefinierten Organisationsrichtlinie können Sie bestimmte Vorgänge in Dataproc-Clustern ausführen. Wenn beispielsweise Eine Anfrage zum Erstellen oder Aktualisieren eines Clusters erfüllt nicht Validierung der benutzerdefinierten Einschränkung, die von Ihrer Organisationsrichtlinie festgelegt wird, Die Anfrage schlägt fehl und an den Aufrufer wird ein Fehler zurückgegeben.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Evaluierung der Hierarchie.

Preise

Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Organisationsrichtlinien, ist kostenlos angeboten werden.

Hinweise

  1. Projekt einrichten
    1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

    4. Dataproc API aktivieren.

      Aktivieren Sie die API

    5. Installieren Sie die Google Cloud CLI.

    6. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

      gcloud init
      7.

    7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    8. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

    9. Dataproc API aktivieren.

      Aktivieren Sie die API

    10. Installieren Sie die Google Cloud CLI.

    11. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

      gcloud init
      12.
    12. Sie müssen Ihre Organisations-ID kennen.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Verwalten von Organisationsrichtlinien benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierten Rollen enthalten Berechtigungen zum Verwalten von Organisationsrichtlinien. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Verwalten von Organisationsrichtlinien erforderlich:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Benutzerdefinierte Einschränkung erstellen

Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen, auf die es angewendet wird. Dataproc-Unterstützung benutzerdefinierte Einschränkungen, die auf die Methoden CREATE und UPDATE der CLUSTER-Ressource (siehe Dataproc-Einschränkungen für Ressourcen und Vorgänge).

So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Dataproc-Einschränkung:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ersetzen Sie Folgendes:

  • ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.

  • CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung muss mit custom. beginnen und kann Sie dürfen nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten. Beispiel: custom.dataprocEnableComponentGateway. Die maximale Länge dieses Felds beträgt 70 Zeichen Zeichen, wobei das Präfix z. B. nicht mitgezählt wird, organizations/123456789/customConstraints/custom

  • METHOD: Wenn Sie eine Einschränkung für die Clustererstellung erstellen, Geben Sie CREATE an. Geben Sie beim Erstellen der UPDATE-Einschränkung für den Cluster beide an als folgt: 
    methodTypes:
- CREATE
- UPDATE

  • CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Siehe Unterstützte Ressourcen für Informationen zu den Ressourcen, die zum Schreiben von Bedingungen zur Verfügung stehen. Beispiel: "resource.config.endpointConfig.enableHttpPortAccess==true"

  • ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Dies kann entweder ALLOW oder DENY sein.

  • DISPLAY_NAME: ein verständlicher Name für die Einschränkung, z. B. „Aktivierung von Dataproc Component Gateway erzwingen“. Dieses Feld hat eine maximale Länge von 200 Zeichen.

  • DESCRIPTION: eine nutzerfreundliche Beschreibung des die bei einem Richtlinienverstoß als Fehlermeldung angezeigt werden soll. Beispiel: „Ermöglichen Sie die Erstellung von Dataproc-Clustern nur, wenn das Component Gateway aktiviert". Dieses Feld hat eine maximale Länge von 2000 Zeichen.

Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.

Benutzerdefinierte Einschränkung einrichten

Nachdem Sie eine neue benutzerdefinierte Einschränkung mit der Google Cloud CLI erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Einschränkung den Befehl gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Ersetzen Sie CONSTRAINT_PATH durch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel: /home/user/customconstraint.yaml Nach Abschluss des Vorgangs finden Sie Ihre benutzerdefinierten Einschränkungen als verfügbare Organisationsrichtlinien in der Liste der Google Cloud-Organisationsrichtlinien. Prüfen Sie mit der Methode Befehl gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Ersetzen Sie ORGANIZATION_ID durch die ID Ihrer Organisationsressource. Weitere Informationen finden Sie unter Organisationsrichtlinien aufrufen.

Benutzerdefinierte Einschränkung erzwingen

Sie können eine boolesche Einschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie auf eine Google Cloud-Ressource anwenden.

Console

So erzwingen Sie eine boolesche Einschränkung:

  1. Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.

    Zu den Organisationsrichtlinien

  2. Klicken Sie oben auf der Seite auf Projektauswahl.
  3. Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
  4. Wählen Sie auf der Seite Organisationsrichtlinien Ihre Einschränkung aus der Liste aus. Die Seite Richtliniendetails für diese Einschränkung sollte angezeigt werden.
  5. Zum Konfigurieren der Organisationsrichtlinie für diese Ressource klicken Sie auf Richtlinie verwalten.
  6. Wählen Sie auf der Seite Richtlinie bearbeiten die Option Richtlinie der übergeordneten Ressource überschreiben aus.
  7. Klicken Sie auf Regel hinzufügen.
  8. Wählen Sie unter Erzwingung aus, ob die Erzwingung dieser Organisationsrichtlinie aktiviert oder deaktiviert werden soll.
  9. Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine bedingungsfreie Regel hinzufügen oder die Richtlinie kann nicht gespeichert werden. Weitere Informationen finden Sie unter Organisationsrichtlinie mit Tags festlegen.
  10. Wenn dies eine benutzerdefinierte Einschränkung ist, können Sie auf Änderungen testen klicken, um die Auswirkungen dieser Organisationsrichtlinie zu simulieren. Weitere Informationen finden Sie unter Änderungen an Organisationsrichtlinien mit dem Richtliniensimulator testen.
  11. Klicken Sie auf Richtlinie festlegen, um den Vorgang abzuschließen und die Organisationsrichtlinie anzuwenden. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

gcloud

Um eine Organisationsrichtlinie zu erstellen, die eine boolesche Einschränkung erzwingt, erstellen Sie eine YAML-Richtliniendatei, die auf die Einschränkung verweist: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Ersetzen Sie Folgendes:

  • PROJECT_ID: das Projekt, für das Sie die Einschränkung erzwingen möchten
  • CONSTRAINT_NAME: der Name, den Sie für Ihre benutzerdefinierte Einschränkung definiert haben. Beispiel: custom.dataprocEnableComponentGateway.

Führen Sie den folgenden Befehl aus, um die Organisationsrichtlinie mit der Einschränkung zu erzwingen: 

    gcloud org-policies set-policy POLICY_PATH

Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

Benutzerdefinierte Einschränkung testen

Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Organisationsrichtlinie erstellt und bei der Clustererstellung erzwungen, um das Aktivieren des Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Beispielausgabe (standardmäßig ist das Component Gateway nicht aktiviert, wenn ein Dataproc-Cluster erstellt):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Dataproc-Einschränkungen für Ressourcen und Vorgänge

Die folgenden benutzerdefinierten Einschränkungsfelder in Dataproc sind Sie können beim Erstellen oder Aktualisieren eines Dataproc-Clusters verwendet werden. Beim Aktualisieren eines Clusters gelten nur die Einschränkungen für den bearbeitbaren Cluster. werden unterstützt (siehe Cluster aktualisieren)

  • Compute Engine-Netzwerkkonfiguration (networkUri,internalIpOnly, serviceAccount und metadata) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.gceClusterConfig.networkUri
    • resource.config.gceClusterConfig.internalIpOnly
    • resource.config.gceClusterConfig.serviceAccount
    • resource.config.gceClusterConfig.metadata
  • Konfiguration der Compute Engine-Instanzgruppe (imageUri undmachineTypeUri) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.masterConfig.imageUri
    • resource.config.masterConfig.machineTypeUri
    • resource.config.workerConfig.imageUri
    • resource.config.workerConfig.machineTypeUri
    • resource.config.secondaryWorkerConfig.imageUri
    • resource.config.secondaryWorkerConfig.machineTypeUri
  • Laufwerkskonfiguration der Compute Engine-Instanzgruppe (bootDiskType, bootDiskSizeGb, numLocalSsds und localSsdInterface) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.masterConfig.diskConfig.bootDiskType
    • resource.config.workerConfig.diskConfig.bootDiskType
    • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
    • resource.config.masterConfig.diskConfig.bootDiskSizeGb
    • resource.config.workerConfig.diskConfig.bootDiskSizeGb
    • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
    • resource.config.masterConfig.diskConfig.numLocalSsds
    • resource.config.workerConfig.diskConfig.numLocalSsds
    • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
    • resource.config.masterConfig.diskConfig.localSsdInterface
    • resource.config.workerConfig.diskConfig.localSsdInterface
    • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
  • Initialisierungsaktionen (executableFile) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.initializationActions.executableFile
  • Softwarekonfiguration (imageVersion, Properties und optionaleComponents) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.softwareConfig.imageVersion
    • resource.config.softwareConfig.properties
    • resource.config.softwareConfig.optionalComponents
  • Kerberos-Konfiguration (Kerberos und CrossRealmTrustKdc aktivieren) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.securityConfig.kerberosConfig.enableKerberos
    • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
  • Component Gateway (enableHttpPortAccess) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.endpointConfig.enableHttpPortAccess
  • Metastore-Konfiguration (DataprocMetastoreService) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.metastoreConfig.dataprocMetastoreService
  • CMEK für nichtflüchtigen Speicher (gcePdKmsKeyName) <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.encryptionConfig.gcePdKmsKeyName
  • Cluster labels <ph type="x-smartling-placeholder">
      </ph>
    • resource.labels
  • Clustergröße <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.masterConfig.numInstances
    • resource.config.workerConfig.numInstances
    • resource.config.secondaryWorkerConfig.numInstances
  • Autoscaling <ph type="x-smartling-placeholder">
      </ph>
    • resource.config.autoscalingConfig.policyUri

Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle

Die folgende Tabelle enthält Beispiele für benutzerdefinierte Einschränkungen:

Beschreibung Einschränkungssyntax
Beschränken Sie die Anzahl der Dataproc-Worker-Instanzen auf 10 oder weniger, wenn ein Cluster erstellt oder aktualisiert wird. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
Ausführung des Anwendungsmasters in Dataproc verhindern Präemptive Cluster-Worker 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
Benutzerdefinierte Hive-Attribute in Dataproc-Clustern nicht zulassen. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
Verwendung des Maschinentyps n1-standard-2 für Dataproc-Masterinstanzen nicht zulassen. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Verwendung eines angegebenen Initialisierungsaktionsskripts erzwingen. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
Verwendung eines angegebenen Verschlüsselungsschlüssels für nichtflüchtigen Speicher erzwingen. 

    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Erzwingen Sie Einschränkungen für Clusterlabels. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Verwendung eines nicht standardmäßigen Netzwerks erzwingen. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

Nächste Schritte