Utilizza vincoli personalizzati

Google Cloud Organization Policy offre un controllo centralizzato e programmatico sulle risorse dell'organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di restrizioni chiamate vincoli che si applicano alle risorse Google Cloud e ai relativi discendenti nella gerarchia delle risorse di Google Cloud. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.

Criterio dell'organizzazione fornisce vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nei criteri dell'organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in un criterio dell'organizzazione.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche sui batch Dataproc Serverless. Ad esempio, se una richiesta per creare un carico di lavoro batch non riesce a soddisfare la convalida di vincoli personalizzati come impostato dal criterio dell'organizzazione, la richiesta avrà esito negativo e il chiamante riceverà un errore.

Ereditarietà dei criteri

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud applica il criterio a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio Criteri dell'organizzazione, inclusi vincoli predefiniti e personalizzati, è offerto senza costi aggiuntivi.

Prima di iniziare

Configura il progetto
1. Assicurati di conoscere l'ID organizzazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i criteri dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore criteri organizzazione (roles/orgpolicy.policyAdmin) per la risorsa dell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per gestire i criteri dell'organizzazione sono necessarie le seguenti autorizzazioni:

orgpolicy.constraints.list
orgpolicy.policies.create
orgpolicy.policies.delete
orgpolicy.policies.list
orgpolicy.policies.update
orgpolicy.policy.get
orgpolicy.policy.set

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Crea un vincolo personalizzato

In un file YAML, un vincolo personalizzato viene definito dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Dataproc Serverless supporta i vincoli personalizzati applicati al metodo CREATE della risorsa BATCH (consulta Vincoli di Dataproc Serverless su risorse e operazioni).

Per creare un file YAML per un vincolo personalizzato di Dataproc Serverless:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes:
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

ORGANIZATION_ID: l'ID organizzazione, ad esempio 123456789.
CONSTRAINT_NAME: il nome del nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.batchMustHaveSpecifiedCategoryLabel. La lunghezza massima di questo campo è 70 caratteri, senza contare il prefisso, ad esempio organizations/123456789/customConstraints/custom.
CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per ulteriori informazioni sulle risorse disponibili per la scrittura delle condizioni, consulta Risorse supportate. Condizione di esempio: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']).
ACTION: l'azione da eseguire se la condizione viene soddisfatta. Il valore può essere ALLOW o DENY.
DISPLAY_NAME: un nome intuitivo per il vincolo. Nome visualizzato di esempio: "Applica il requisito dell'etichetta 'categoria' batch'". Questo campo ha una lunghezza massima di 200 caratteri.
DESCRIPTION: una descrizione intuitiva del vincolo da mostrare come messaggio di errore quando viene violata la norma. Questo campo ha una lunghezza massima di 2000 caratteri. Descrizione di esempio: "Consenti la creazione batch di Dataproc solo se ha un'etichetta "category" con valore "retail", "ads" o "service"".

Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

Configura un vincolo personalizzato

Dopo aver creato un nuovo vincolo personalizzato utilizzando Google Cloud CLI, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Sostituisci CONSTRAINT_PATH con il percorso completo del file di vincoli personalizzati. Ad esempio, /home/user/customconstraint.yaml. Al termine, troverai i vincoli personalizzati come criteri dell'organizzazione disponibili nell'elenco dei criteri dell'organizzazione di Google Cloud. Per verificare l'esistenza del vincolo personalizzato, utilizza il comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Sostituisci ORGANIZATION_ID con l'ID della risorsa dell'organizzazione. Per maggiori informazioni, vedi Visualizzare i criteri dell'organizzazione.

Forza l'applicazione di un vincolo personalizzato

Puoi applicare un vincolo booleano creando un criterio dell'organizzazione che vi faccia riferimento e applicando questo criterio a una risorsa Google Cloud.

Console

Per applicare un vincolo booleano:

Nella console Google Cloud, vai alla pagina Criteri dell'organizzazione.
Vai a Criteri dell'organizzazione
Seleziona il selettore di progetti nella parte superiore della pagina.
Dal selettore dei progetti, scegli il progetto per cui vuoi impostare il criterio dell'organizzazione.
Seleziona il vincolo dall'elenco nella pagina Criteri dell'organizzazione. Viene visualizzata la pagina Dettagli criterio per tale vincolo.
Per configurare il criterio dell'organizzazione per questa risorsa, fai clic su Gestisci criterio.
Nella pagina Modifica criterio, seleziona Sostituisci criterio del padre.
Fai clic su Aggiungi una regola.
In Applicazione, scegli se l'applicazione di questo criterio dell'organizzazione deve essere attivata o disattivata.
Facoltativamente, per rendere condizionale il criterio dell'organizzazione a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a un criterio dell'organizzazione, devi aggiungere almeno una regola senza condizioni, altrimenti il criterio non potrà essere salvato. Per maggiori dettagli, consulta Configurare un criterio dell'organizzazione con tag.
Se si tratta di un vincolo personalizzato, puoi fare clic su Testa modifiche per simulare l'effetto di questo criterio dell'organizzazione. Per maggiori informazioni, consulta Testare le modifiche ai criteri dell'organizzazione con Policy Simulator.
Per completare e applicare il criterio dell'organizzazione, fai clic su Imposta criterio. L'applicazione del criterio richiederà fino a 15 minuti.

gcloud

Per creare un criterio dell'organizzazione che applichi un vincolo booleano, crea un file YAML del criterio che faccia riferimento al vincolo:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Sostituisci quanto segue:

PROJECT_ID: il progetto a cui vuoi applicare il vincolo.
CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio, custom.batchMustHaveSpecifiedCategoryLabel.

Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:

    gcloud org-policies set-policy POLICY_PATH

Sostituisci POLICY_PATH con il percorso completo del file YAML dei criteri dell'organizzazione. L'applicazione del criterio richiederà fino a 15 minuti.

Testa il vincolo personalizzato

Il seguente esempio di creazione batch presuppone che sia stato creato e applicato un vincolo personalizzato alla creazione in batch per richiedere che al batch sia associata un'etichetta "category" con il valore "retail", "ads" o "service: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']). Tieni presente che l'etichetta "category" nell'esempio non presenta uno dei valori obbligatori.

gcloud dataproc batches submit spark \
  --region us-west1
  --jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
  --class org.apache.spark.examples.SparkPi  \
  --network default \
  --labels category=foo \
  -- 100

Esempio di output:

Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel": ""Only allow Dataproc batch creation if it has a 'category' label with
  a 'retail', 'ads', or 'service' value""]

Vincoli di Dataproc Serverless su risorse e operazioni

I seguenti vincoli personalizzati Dataproc Serverless sono disponibili per l'utilizzo quando crei (invia) un carico di lavoro batch.

Generali

resource.labels

RuntimeConfig

resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties

ExecutionConfig

resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.stagingBucket

PeripheralsConfig

resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster

Esempi di vincoli personalizzati per casi d'uso comuni

La seguente tabella fornisce esempi di vincoli personalizzati batch di Dataproc Serverless:

Descrizione	Sintassi del vincolo
Il batch deve collegare un'etichetta "categoria" con valori consentiti.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value.
Il batch deve impostare una versione del runtime consentita.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version.
Il batch non può impostare più di 20 esecutori iniziali Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances.
Il batch non può impostare più di 20 esecutori iniziali con allocazione dinamica Spark.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors.
Il batch non deve consentire più di 20 esecutori di allocazione dinamica.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') \|\| (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20.
Il batch deve impostare la chiave KMS su un pattern consentito.	name: organizations/`ORGANIZATION_ID`/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern.
Il batch deve impostare il prefisso del bucket di gestione temporanea su un valore consentito.	name: organizations/`ORGANIZATION_ID`/customConstraints/custom.batchStagingBucketPrefix resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith(`ALLOWED_PREFIX`) actionType: ALLOW displayName: Enforce batch staging bucket prefix. description: Only allow batch creation if it sets the staging bucket prefix to `ALLOWED_PREFIX`.

Passaggi successivi

Per saperne di più sui criteri dell'organizzazione, vedi Introduzione al servizio Criteri dell'organizzazione.
Scopri di più su come creare e gestire i criteri dell'organizzazione.
Consulta l'elenco completo dei vincoli dei criteri dell'organizzazione predefiniti.