Dataflow-Ressourcen mit benutzerdefinierten Einschränkungen verwalten

Mit der Google Cloud-Organisationsrichtlinie können Sie die Ressourcen Ihrer Organisation zentral steuern. Als Administrator für Organisationsrichtlinien können Sie eine Organisationsrichtlinie definieren, also eine Reihe von Einschränkungen, die für Google Cloud-Ressourcen und untergeordnete Elemente dieser Ressourcen in der Google Cloud-Ressourcenhierarchie gelten. Sie können Organisationsrichtlinien auf Organisations-, Ordner- oder Projektebene erzwingen.

Die Organisationsrichtlinie bietet vordefinierte Einschränkungen für verschiedene Google Cloud-Dienste. Wenn Sie jedoch eine detailliertere, anpassbare Steuerung der spezifischen Felder wünschen, die in Ihren Organisationsrichtlinien eingeschränkt werden, können Sie auch benutzerdefinierte Organisationsrichtlinien erstellen.

Vorteile

Mit einer benutzerdefinierten Organisationsrichtlinie können Sie das Erstellen von Dataflow-Jobs mit Bedingungen basierend auf unterstützten Ressourcenattributen wie Jobname, Typ und Dienstoptionen zulassen oder ablehnen.

Übernahme von Richtlinien

Standardmäßig werden Organisationsrichtlinien von den Nachfolgerelementen der Ressourcen übernommen, für die Sie die Richtlinie erzwingen. Wenn Sie beispielsweise eine Richtlinie für einen Ordner erzwingen, erzwingt Google Cloud die Richtlinie für alle Projekte in dem Ordner. Weitere Informationen zu diesem Verhalten und zu dessen Änderung finden Sie unter Regeln für die Evaluierung der Hierarchie.

Preise

Der Organisationsrichtliniendienst, einschließlich vordefinierter und benutzerdefinierter Organisationsrichtlinien, wird kostenlos angeboten.

Beschränkungen

Benutzerdefinierte Einschränkungen für Dataflow-Job-Ressourcen können nur mit der Google Cloud Console oder der Google Cloud CLI eingerichtet werden.
Benutzerdefinierte Einschränkungen können nur für die Methode CREATE für Dataflow-Job-Ressourcen erzwungen werden.
Neu erzwungene benutzerdefinierte Einschränkungen gelten nicht für vorhandene Ressourcen.

Vorbereitung

Weitere Informationen zu Organisationsrichtlinien und -einschränkungen und ihrer Funktionsweise finden Sie unter Einführung in den Organisationsrichtliniendienst.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Organization policy administrator (roles/orgpolicy.policyAdmin) für die Organisation zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Verwalten von Organisationsrichtlinien benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Verwalten von Organisationsrichtlinien erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind für die Verwaltung von Organisationsrichtlinien erforderlich:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Benutzerdefinierte Einschränkung erstellen

Eine benutzerdefinierte Einschränkung wird in einer YAML-Datei durch die Ressourcen, Methoden, Bedingungen und Aktionen definiert, die von dem Dienst unterstützt werden, für den Sie die Organisationsrichtlinie erzwingen. Bedingungen für Ihre benutzerdefinierten Einschränkungen werden mithilfe der Common Expression Language (CEL) definiert. Weitere Informationen zum Erstellen von Bedingungen in benutzerdefinierten Einschränkungen mit CEL finden Sie im Abschnitt CEL unter Benutzerdefinierte Einschränkungen erstellen und verwalten.

So erstellen Sie eine YAML-Datei für eine benutzerdefinierte Einschränkung:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Ersetzen Sie dabei Folgendes:

ORGANIZATION_ID: Ihre Organisations-ID, z. B. 123456789.
CONSTRAINT_NAME: Name, den Sie für Ihre neue benutzerdefinierte Einschränkung verwenden möchten. Eine benutzerdefinierte Einschränkung muss mit custom. beginnen und darf nur Großbuchstaben, Kleinbuchstaben oder Ziffern enthalten, zum Beispiel custom.denyPrimeJobs. Die maximale Länge dieses Feldes beträgt 70 Zeichen, das Präfix wird nicht gezählt (z. B. organizations/123456789/customConstraints/custom).
RESOURCE_NAME: Name (nicht der URI) der Dataflow API REST-Ressource, die das Objekt und das Feld enthält, das Sie einschränken möchten Beispiel: Job.
CONDITION: eine CEL-Bedingung, die für eine Darstellung einer unterstützten Dienstressource geschrieben wird. Dieses Feld hat eine maximale Länge von 1000 Zeichen. Weitere Informationen zu den verfügbaren Ressourcen, auf die Bedingungen geschrieben werden können, finden Sie unter Unterstützte Ressourcen. Beispiel: "resource.environment.serviceOptions.exists(value, value=='enable_prime')".
ACTION: Aktion, die ausgeführt werden soll, wenn condition erfüllt ist. Unterstützte Werte sind ALLOW und DENY.
DISPLAY_NAME: Ein nutzerfreundlicher Name für die Einschränkung. Dieses Feld hat eine maximale Länge von 200 Zeichen.
DESCRIPTION: Eine nutzerfreundliche Beschreibung der Einschränkung, die als Fehlermeldung angezeigt werden soll, wenn die Richtlinie verletzt wird Dieses Feld hat eine maximale Länge von 2000 Zeichen.

Weitere Informationen zum Erstellen einer benutzerdefinierten Einschränkung finden Sie unter Benutzerdefinierte Einschränkungen definieren.

Benutzerdefinierte Einschränkung einrichten

Nachdem Sie eine neue benutzerdefinierte Einschränkung mit der Google Cloud CLI erstellt haben, müssen Sie sie einrichten, um sie für Organisationsrichtlinien in Ihrer Organisation verfügbar zu machen. Verwenden Sie zum Einrichten einer benutzerdefinierten Einschränkung den Befehl gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Ersetzen Sie CONSTRAINT_PATH durch den vollständigen Pfad zu Ihrer benutzerdefinierten Einschränkungsdatei. Beispiel: /home/user/customconstraint.yaml Nach Abschluss des Vorgangs finden Sie Ihre benutzerdefinierten Einschränkungen als verfügbare Organisationsrichtlinien in der Liste der Google Cloud-Organisationsrichtlinien. Prüfen Sie mit dem Befehl gcloud org-policies list-custom-constraints, ob die benutzerdefinierte Einschränkung vorhanden ist:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Ersetzen Sie ORGANIZATION_ID durch die ID Ihrer Organisationsressource. Weitere Informationen finden Sie unter Organisationsrichtlinien aufrufen.

Benutzerdefinierte Organisationsrichtlinie erzwingen

Sie können eine boolesche Einschränkung erzwingen, indem Sie eine Organisationsrichtlinie erstellen, die darauf verweist, und diese Organisationsrichtlinie auf eine Google Cloud-Ressource anwenden.

Console

So erzwingen Sie eine boolesche Einschränkung:

Wechseln Sie in der Google Cloud Console zur Seite Organisationsrichtlinien.
Zu den Organisationsrichtlinien
Klicken Sie oben auf der Seite auf Projektauswahl.
Wählen Sie in der Projektauswahl das Projekt aus, für das Sie die Organisationsrichtlinie festlegen möchten.
Wählen Sie auf der Seite Organisationsrichtlinien Ihre Einschränkung aus der Liste aus. Die Seite Richtliniendetails für diese Einschränkung sollte angezeigt werden.
Zum Konfigurieren der Organisationsrichtlinie für diese Ressource klicken Sie auf Richtlinie verwalten.
Wählen Sie auf der Seite Richtlinie bearbeiten die Option Richtlinie der übergeordneten Ressource überschreiben aus.
Klicken Sie auf Regel hinzufügen.
Wählen Sie unter Erzwingung aus, ob die Erzwingung dieser Organisationsrichtlinie aktiviert oder deaktiviert werden soll.
Klicken Sie optional auf Bedingung hinzufügen, um die Organisationsrichtlinie von einem Tag abhängig zu machen. Wenn Sie einer Organisationsrichtlinie eine bedingte Regel hinzufügen, müssen Sie mindestens eine bedingungsfreie Regel hinzufügen oder die Richtlinie kann nicht gespeichert werden. Weitere Informationen finden Sie unter Organisationsrichtlinie mit Tags festlegen.
Wenn dies eine benutzerdefinierte Einschränkung ist, können Sie auf Änderungen testen klicken, um die Auswirkungen dieser Organisationsrichtlinie zu simulieren. Weitere Informationen finden Sie unter Änderungen an Organisationsrichtlinien mit dem Richtliniensimulator testen.
Klicken Sie auf Richtlinie festlegen, um den Vorgang abzuschließen und die Organisationsrichtlinie anzuwenden. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

gcloud

Um eine Organisationsrichtlinie zu erstellen, die eine boolesche Einschränkung erzwingt, erstellen Sie eine YAML-Richtliniendatei, die auf die Einschränkung verweist:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Ersetzen Sie Folgendes:

PROJECT_ID: das Projekt, für das Sie die Einschränkung erzwingen möchten
CONSTRAINT_NAME: der Name, den Sie für Ihre benutzerdefinierte Einschränkung definiert haben. Beispiel: custom.denyPrimeJobs.

Führen Sie den folgenden Befehl aus, um die Organisationsrichtlinie mit der Einschränkung zu erzwingen:

    gcloud org-policies set-policy POLICY_PATH

Ersetzen Sie POLICY_PATH durch den vollständigen Pfad zur YAML-Datei Ihrer Organisationsrichtlinie. Es kann bis zu 15 Minuten dauern, bis die Richtlinie wirksam wird.

Beispiel: Einschränkung erstellen, um die Erstellung eines Jobs mit aktiviertem Prime zu verhindern

gcloud

Erstellen Sie eine denyPrimeJobs.yaml-Einschränkungsdatei mit den folgenden Informationen. Ersetzen Sie ORGANIZATION_ID durch Ihre Organisations-ID.

name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

Legen Sie die benutzerdefinierte Einschränkung fest.

gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

Erstellen Sie eine enforce-policy-denyPrimeJobs.yaml-Richtliniendatei mit folgenden Informationen: In diesem Beispiel wird die Einschränkung auf Projektebene erzwungen. Sie können diese Einschränkung auch auf Organisations- oder Ordnerebene festlegen. Ersetzen Sie PROJECT_ID durch Ihre Projekt-ID.
```
      name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true
```
Erzwingen Sie die Richtlinie, indem Sie den folgenden Befehl ausführen.
```
gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
```

Testen Sie die Einschränkung, indem Sie versuchen, einen Dataflow-Job mit der Option enable_prime zu erstellen. Folgen Sie der Kurzanleitung zum Erstellen einer Dataflow-Pipeline mit Java, um einen WordCount-Job zu erstellen.

mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

Die Ausgabe sieht etwa so aus wie im folgenden Beispiel.

"details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

Das Audit-Log sollte Details zum Verstoß enthalten, z. B.:

  policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Ausdrucksfelder für Bedingungen

In der folgenden Tabelle sind die Ausdrucksfelder aufgeführt, mit denen Sie Bedingungen erstellen können. Bedingungen werden in der Common Expression Language (CEL) geschrieben. Bei den Werten der Ausdrucksfelder wird zwischen Groß- und Kleinschreibung unterschieden.

Beschreibungen der folgenden Ausdrucksfelder und der zulässigen Werte finden Sie in der JSON-Darstellung von Dataflow-Job.

Ausdrucksfeld	Werttyp
`name`	`string`
`type`	`string`
`transformNameMapping`	`map`
`location`	`string`
`environment`	`message`
`environment.serviceOptions`	`list of string`
`environment.serviceKmsKeyName`	`string`
`environment.serviceAccountEmail`	`string`
`environment.workerRegion`	`string`
`environment.workerZone`	`string`
`environment.streamingMode`	`string`
`environment.debugOptions`	`message`
`environment.debugOptions.enableHotKeyLogging`	`bool`

Beispielanwendungsfälle

Einige Anwendungsfälle sind in der folgenden Tabelle aufgeführt.

Anwendungsfall	Aktion	Benutzerdefinierte Einschränkung
Verwendung des Prime-Jobs nicht zulassen	ABLEHNEN	`resource.environment.serviceOptions.exists(value, value=='enable_prime')`
Verhindert, dass VMs SSH-Schlüssel akzeptieren, die in Projektmetadaten gespeichert sind.	ABLEHNEN	`!resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')`
Jobs ohne Angabe der maximalen Ausführungszeit in Sekunden nicht zulassen	ABLEHNEN	`!resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')`

Nächste Schritte

Weitere Informationen zu Organisationsrichtlinien finden Sie unter Einführung in den Organisationsrichtliniendienst.
Organisationsrichtlinien erstellen und verwalten
Eine vollständige Liste der vordefinierten Einschränkungen für Organisationsrichtlinien finden Sie hier.