Dataproc-Ressourcen mit benutzerdefinierten Einschränkungen verwalten
Mit der Google Cloud-Organisationsrichtlinie können Sie die Ressourcen Ihrer Organisation zentral steuern. Als Administrator für Organisationsrichtlinien können Sie Folgendes definieren: Organisationsrichtlinie, wobei es sich um eine Reihe von Einschränkungen handelt, die für Google Cloud-Ressourcen und untergeordnete Elemente dieser Ressourcen in der Google Cloud-Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.
Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedene Google Cloud-Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt werden, können Sie auch benutzerdefinierte Einschränkungen erstellen und diese benutzerdefinierten Einschränkungen in einer Organisationsrichtlinie verwenden.
Vorteile
Sie können eine benutzerdefinierte Organisationsrichtlinie verwenden, um bestimmte Vorgänge in Dataproc-Clustern zuzulassen oder abzulehnen. Wenn beispielsweise eine Anfrage zum Erstellen oder Aktualisieren eines Clusters die in Ihrer Organisationsrichtlinie festgelegte Validierung der benutzerdefinierten Einschränkung nicht erfüllt, schlägt die Anfrage fehl und an den Aufrufer wird ein Fehler zurückgegeben.
Übernahme von Richtlinien
Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Evaluierung der Hierarchie.
Preise
Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Einschränkungen, wird kostenlos angeboten.
Hinweise
- Projekt einrichten
- Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.
-
Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataproc API aktivieren.
- Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
-
Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.
-
Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.
-
Dataproc API aktivieren.
- Installieren Sie die Google Cloud CLI.
-
Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:
gcloud init
- Sie müssen Ihre Organisations-ID kennen.
Erforderliche Rollen
Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Organisationsrichtlinien benötigen:
-
Administrator für Organisationsrichtlinien (
roles/orgpolicy.policyAdmin
) für die Organisationsressource -
So erstellen oder aktualisieren Sie einen Dataproc-Cluster:
Dataproc-Administrator oder Dataproc-Bearbeiter (
roles/dataproc.admin
oderroles/dataproc.editor
) für die Projektressource
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Diese vordefinierten Rollen enthalten die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind erforderlich, um Organisationsrichtlinien zu verwalten:
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
Möglicherweise können Sie diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
Benutzerdefinierte Einschränkung erstellen
Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, auf die sie angewendet wird. Dataproc unterstützt benutzerdefinierte Einschränkungen, die auf die Methoden CREATE
und UPDATE
der Ressource CLUSTER
angewendet werden (siehe Dataproc-Einschränkungen für Ressourcen und Vorgänge).
So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Dataproc-Einschränkung:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION
Ersetzen Sie Folgendes:
ORGANIZATION_ID
: Ihre Organisations-ID, z. B.123456789
.CONSTRAINT_NAME
: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Dieses Feld hat eine maximale Länge von 100 Zeichen, wobei das Präfix nicht mitgezählt wird (z. B.organizations/123456789/customConstraints/
). Eine benutzerdefinierte Einschränkung muss mitcustom.
beginnen. Beispiel:custom.dataprocEnableComponentGateway
METHOD
: Geben Sie beim Erstellen einer Einschränkung für die ClustererstellungCREATE
an. Geben Sie beim Erstellen einerUPDATE
-Einschränkung für den Cluster beides so an:methodTypes: - CREATE - UPDATE
CONDITION
: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1.000 Zeichen. Weitere Informationen zu den Ressourcen, für die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel:"resource.config.endpointConfig.enableHttpPortAccess==true"
ACTION
: Aktion, die ausgeführt werden soll, wenncondition
erfüllt ist. Dies kann entwederALLOW
oderDENY
sein.DISPLAY_NAME
: Ein nutzerfreundlicher Name für die Einschränkung, z. B. "Enable Dataproc Component Gateway". Dieses Feld hat eine maximale Länge von 200 Zeichen.DESCRIPTION
: Eine nutzerfreundliche Beschreibung der Einschränkung, die bei Richtlinienverstößen als Fehlermeldung angezeigt wird, z. B. „Erstellen von Dataproc-Clustern nur zulassen, wenn Component Gateway aktiviert ist“. Dieses Feld hat eine maximale Länge von 2000 Zeichen.
Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.
Benutzerdefinierte Einschränkung einrichten
Nachdem Sie eine neue benutzerdefinierte Einschränkung mit der Google Cloud CLI erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Einschränkung den Befehlgcloud org-policies set-custom-constraint
:
gcloud org-policies set-custom-constraint CONSTRAINT_PATHErsetzen Sie
CONSTRAINT_PATH
durch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel: /home/user/customconstraint.yaml
.
Nach Abschluss des Vorgangs finden Sie Ihre benutzerdefinierten Einschränkungen als verfügbare Einschränkungen in der Liste der Google Cloud-Organisationsrichtlinien.
Prüfen Sie mit dem Befehl gcloud org-policies list-custom-constraints
, ob die benutzerdefinierte Einschränkung vorhanden ist:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_IDErsetzen Sie
ORGANIZATION_ID
durch die ID Ihrer Organisationsressource.
Weitere Informationen finden Sie unter Organisationsrichtlinien ansehen.
Benutzerdefinierte Einschränkung erzwingen
Sie können eine boolesche Einschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie auf eine Google Cloud-Ressource anwenden.Console
So erzwingen Sie eine boolesche Einschränkung:
-
Öffnen Sie in der Google Cloud Console die Seite
Organisationsrichtlinien . -
Klicken Sie oben auf der Seite auf
Projektauswahl . -
Wählen Sie in der
Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten. -
Wählen Sie auf der Seite
Organisationsrichtlinien Ihre Einschränkung aus der Liste aus. Die SeiteRichtliniendetails für diese Einschränkung sollte angezeigt werden. -
Zum Anpassen der Organisationsrichtlinie für diese Ressource klicken Sie auf
Richtlinie verwalten . -
Wählen Sie auf der Seite
Richtlinie bearbeiten die OptionAnpassen aus. -
Klicken Sie auf
Regel hinzufügen . -
Wählen Sie unter
Erzwingung aus, ob die Erzwingung dieser Organisationsrichtlinie aktiviert oder deaktiviert werden soll. -
Klicken Sie optional auf
Bedingung hinzufügen , um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine bedingungsfreie Regel hinzufügen oder die Richtlinie kann nicht gespeichert werden. Weitere Informationen finden Sie unter Organisationsrichtlinie mit Tags festlegen. -
Klicken Sie auf
Speichern , um den Vorgang abzuschließen und die Organisationsrichtlinie anzuwenden. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.
gcloud
Um eine Organisationsrichtlinie zu erstellen, die eine boolesche Einschränkung erzwingt, erstellen Sie eine YAML-Richtliniendatei, die auf die Einschränkung verweist:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Ersetzen Sie Folgendes:
-
PROJECT_ID
: das Projekt, für das Sie die Einschränkung erzwingen möchten -
CONSTRAINT_NAME
: der Name, den Sie für Ihre benutzerdefinierte Einschränkung definiert haben. Beispiel:custom.dataprocEnableComponentGateway
.
Führen Sie den folgenden Befehl aus, um die Organisationsrichtlinie mit der Einschränkung zu erzwingen:
gcloud org-policies set-policy POLICY_PATH
Ersetzen Sie POLICY_PATH
durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.
Benutzerdefinierte Einschränkung testen
Im folgenden Beispiel für die Clustererstellung wird davon ausgegangen, dass eine benutzerdefinierte Einschränkung erstellt und beim Erstellen des Clusters erzwungen wurde, um die Aktivierung von Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true
) zu erfordern.
gcloud dataproc clusters create example-cluster \
--project=PROJECT_ID \
--zone=COMPUTE_ZONE
Beispielausgabe (Component Gateway ist beim Erstellen eines Dataproc-Clusters standardmäßig nicht aktiviert):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]
Dataproc-Einschränkungen für Ressourcen und Vorgänge
Beim Erstellen oder Aktualisieren eines Dataproc-Clusters können die folgenden benutzerdefinierten Dataproc-Einschränkungen verwendet werden. Beachten Sie, dass beim Aktualisieren eines Clusters nur die Einschränkungen unterstützt werden, die sich auf bearbeitbare Clusterparameter beziehen (siehe Cluster aktualisieren).
- Compute Engine-Netzwerkkonfiguration (networkUri, internalIpOnly, serviceAccount und Metadaten)
resource.config.gceClusterConfig.networkUri
resource.config.gceClusterConfig.internalIpOnly
resource.config.gceClusterConfig.serviceAccount
resource.config.gceClusterConfig.metadata
- Konfiguration der Compute Engine-Instanzgruppe (imageUri und machineTypeUri)
resource.config.masterConfig.imageUri
resource.config.masterConfig.machineTypeUri
resource.config.workerConfig.imageUri
resource.config.workerConfig.machineTypeUri
resource.config.secondaryWorkerConfig.imageUri
resource.config.secondaryWorkerConfig.machineTypeUri
- Initialisierungsaktionen (executableFile)
resource.config.initializationActions.executableFile
- Software config (imageVersion, Properties und optionaleComponents)
resource.config.softwareConfig.imageVersion
resource.config.softwareConfig.properties
resource.config.softwareConfig.optionalComponents
- Kerberos-Konfiguration (Kerberos und CrossRealmTrustKdc aktivieren)
resource.config.securityConfig.kerberosConfig.enableKerberos
resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Component Gateway (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Metastore-Konfiguration (DataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- Persistent Disk CMEK (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Cluster labels
resource.labels
- Clustergröße
resource.config.masterConfig.numInstances
resource.config.workerConfig.numInstances
resource.config.secondaryWorkerConfig.numInstances
- Autoscaling
resource.config.autoscalingConfig.policyUri
Beispiele für benutzerdefinierte Einschränkungen für häufige Anwendungsfälle
Die folgende Tabelle enthält die Syntax einiger benutzerdefinierter Einschränkungen, die für Sie nützlich sein könnten:
Beschreibung | Einschränkungssyntax |
---|---|
Beschränken Sie die Anzahl der Dataproc-Worker-Instanzen beim Erstellen oder Aktualisieren eines Clusters auf maximal 10. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers. |
Verhindern Sie, dass der Anwendungsmaster auf Workern auf Abruf des Dataproc-Clusters ausgeführt wird. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true". |
Benutzerdefinierte Hive-Attribute für Dataproc-Cluster nicht zulassen |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:". |
Verwendung des Maschinentyps n1-standard-2 auf Dataproc-Masterinstanzen nicht zulassen |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2. |
Verwendung eines bestimmten Initialisierungsaktionsskripts erzwingen |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh". initialization action script is used. |
Verwendung eines angegebenen Verschlüsselungsschlüssels für den nichtflüchtigen Speicher erzwingen |
name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring. |
Einschränkungen für Clusterlabels erzwingen |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test". |
Nächste Schritte
- Weitere Informationen zu Organisationsrichtlinien finden Sie unter Einführung in den Organisationsrichtliniendienst.
- Organisationsrichtlinien erstellen und verwalten
- Eine vollständige Liste der vordefinierten Einschränkungen für Organisationsrichtlinien finden Sie hier.