Utilizzare vincoli personalizzati
I criteri dell'organizzazione Google Cloud ti offrono un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorse Google Cloud e ai relativi discendenti nella gerarchia delle risorse Google Cloud. Puoi applicare i criteri dell'organizzazione a livello di organizzazione, cartella o progetto.
I criteri dell'organizzazione forniscono vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi un controllo più granulare e personalizzabile sui campi specifici limitati nei criteri dell'organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in un criterio dell'organizzazione.
Vantaggi
Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche sui batch Dataproc Serverless. Ad esempio, se una richiesta di creazione di un carico di lavoro batch non soddisfa la convalida dei vincoli personalizzati impostata dai criteri dell'organizzazione, la richiesta non andrà a buon fine e verrà restituito un errore all'autore della chiamata.
Ereditarietà delle norme
Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti delle risorse su cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud lo applica a tutti i progetti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.
Prezzi
Il servizio Norme dell'organizzazione, inclusi i vincoli predefiniti e personalizzati, viene offerto senza costi.
Prima di iniziare
- Configurare il progetto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc Serverless API.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc Serverless API.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Assicurati di conoscere il ID organizzazione.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire i criteri dell'organizzazione,
chiedi all'amministratore di concederti il ruolo IAM Amministratore dei criteri dell'organizzazione (roles/orgpolicy.policyAdmin
) nella risorsa dell'organizzazione.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:
Autorizzazioni obbligatorie
Per gestire le norme dell'organizzazione sono necessarie le seguenti autorizzazioni:
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.
Creare un vincolo personalizzato
Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Dataproc Serverless supporta vincoli personalizzati che vengono applicati al metodo CREATE
della risorsa BATCH
(consulta Vincoli di Dataproc Serverless su risorse e operazioni).
Per creare un file YAML per un vincolo personalizzato Dataproc Serverless:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes:
- CREATE
condition: CONDITION
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION
Sostituisci quanto segue:
ORGANIZATION_ID
: l'ID della tua organizzazione, ad esempio123456789
.CONSTRAINT_NAME
: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare concustom.
e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempiocustom.batchMustHaveSpecifiedCategoryLabel
. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempioorganizations/123456789/customConstraints/custom
.CONDITION
: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Consulta la sezione Risorse supportate per maggiori informazioni sulle risorse disponibili per scrivere le condizioni. Condizione di esempio:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
.ACTION
: l'azione da eseguire se la condizione è soddisfatta. Può essereALLOW
oDENY
.DISPLAY_NAME
: un nome facile da ricordare per la limitazione. Nome visualizzato di esempio: "Applica il requisito dell'etichetta "categoria" per il batch". Questo campo ha una lunghezza massima di 200 caratteri.DESCRIPTION
: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione del criterio. Questo campo ha una lunghezza massima di 2000 caratteri. Descrizione di esempio: "Consenti la creazione di batch Dataproc solo se è presente un'etichetta "category" con un valore "retail", "ads" o "service"".
Per saperne di più su come creare un vincolo personalizzato, consulta Definire vincoli personalizzati.
Configurare un vincolo personalizzato
Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per i criteri dell'organizzazione nella tua organizzazione. Per impostare un vincolo personalizzato, utilizza il comandogcloud org-policies set-custom-constraint
:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
con il percorso completo del
file delle limitazioni personalizzate. Ad esempio: /home/user/customconstraint.yaml
.
Al termine, i vincoli personalizzati sono disponibili come criteri dell'organizzazione
nell'elenco dei criteri dell'organizzazione di Google Cloud.
Per verificare che la limitazione personalizzata esista, utilizza il comando gcloud org-policies list-custom-constraints
:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
con l'ID della risorsa della tua organizzazione.
Per ulteriori informazioni, consulta
Visualizzare i criteri dell'organizzazione.
Applicare un vincolo personalizzato
Puoi applicare un vincolo booleano creando un criterio dell'organizzazione che lo richiami e poi applicando questo criterio dell'organizzazione a una risorsa Google Cloud.Console
- Nella console Google Cloud, vai alla pagina Norme dell'organizzazione.
- Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
- Nell'elenco della pagina Criteri organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli criteri relativa al vincolo in questione.
- Per configurare il criterio dell'organizzazione per questa risorsa, fai clic su Gestisci criterio.
- Nella pagina Modifica criterio, seleziona Ignora criterio della risorsa padre.
- Fai clic su Aggiungi una regola.
- Nella sezione Applicazione, seleziona se l'applicazione di questo criterio dell'organizzazione è attivata o disattivata.
- (Facoltativo) Per rendere il criterio dell'organizzazione condizionale su un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a un criterio dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti il criterio non può essere salvato. Per ulteriori informazioni, consulta Impostare un criterio dell'organizzazione con tag.
- Se si tratta di un vincolo personalizzato, puoi fare clic su Prova modifiche per simulare l'effetto di questo criterio dell'organizzazione. Per ulteriori informazioni, consulta Testare le modifiche ai criteri dell'organizzazione con Policy Simulator.
- Per completare e applicare il criterio dell'organizzazione, fai clic su Imposta criterio. L'applicazione del criterio può richiedere fino a 15 minuti.
gcloud
Per creare un criterio dell'organizzazione che applichi un vincolo booleano, crea un file YAML del criterio che faccia riferimento al vincolo:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Sostituisci quanto segue:
-
PROJECT_ID
: il progetto su cui vuoi applicare il vincolo. -
CONSTRAINT_NAME
: il nome definito per il vincolo personalizzato. Ad esempio,
.custom.batchMustHaveSpecifiedCategoryLabel
Per applicare il criterio dell'organizzazione contenente la limitazione, esegui il seguente comando:
gcloud org-policies set-policy POLICY_PATH
Sostituisci POLICY_PATH
con il percorso completo del file YAML del criterio dell'organizzazione. L'applicazione del criterio può richiedere fino a 15 minuti.
Testa il vincolo personalizzato
Il seguente esempio di creazione di batch presuppone che sia stato creato e applicato un vincolo personalizzato alla creazione del batch per richiedere che al batch sia associata un'etichetta "category" con un valore di "retail", "ads" o "service:("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service'])
".
Tieni presente che l'etichetta "category" nell'esempio non ha uno dei valori richiesti.
gcloud dataproc batches submit spark \
--region us-west1
--jars file:///usr/lib/spark/examples/jars/spark-examples.jar \
--class org.apache.spark.examples.SparkPi \
--network default \
--labels category=foo \
-- 100
Esempio di output:
Operation denied by custom org policies: ["customConstraints/custom.batchMustHaveSpecifiedCategoryLabel
": ""Only allow Dataproc batch creation if it has a 'category' label with
a 'retail', 'ads', or 'service' value""]
Vincoli di Dataproc Serverless su risorse e operazioni
I seguenti vincoli personalizzati di Dataproc Serverless sono disponibili per l'utilizzo quando crei (invii) un carico di lavoro batch.
Generali
resource.labels
PySparkBatch
resource.pysparkBatch.mainPythonFileUri
resource.pysparkBatch.args
resource.pysparkBatch.pythonFileUris
resource.pysparkBatch.jarFileUris
resource.pysparkBatch.fileUris
resource.pysparkBatch.archiveUris
SparkBatch
resource.sparkBatch.mainJarFileUri
resource.sparkBatch.mainClass
resource.sparkBatch.args
resource.sparkBatch.jarFileUris
resource.sparkBatch.fileUris
resource.sparkBatch.archiveUris
SparRBatch
resource.sparkRBatch.mainRFileUri
resource.sparkRBatch.args
resource.sparkRBatch.fileUris
resource.sparkRBatch.archiveUris
SparkSqlBatch
resource.sparkSqlBatch.queryFileUri
resource.sparkSqlBatch.queryVariables
resource.sparkSqlBatch.jarFileUris
RuntimeConfig
resource.runtimeConfig.version
resource.runtimeConfig.containerImage
resource.runtimeConfig.properties
resource.runtimeConfig.repositoryConfig.pypiRepositoryConfig.pypiRepository
resource.runtimeConfig.autotuningConfig.scenarios
resource.runtimeConfig.cohort
ExecutionConfig
resource.environmentConfig.executionConfig.serviceAccount
resource.environmentConfig.executionConfig.networkUri
resource.environmentConfig.executionConfig.subnetworkUri
resource.environmentConfig.executionConfig.networkTags
resource.environmentConfig.executionConfig.kmsKey
resource.environmentConfig.executionConfig.idleTtl
resource.environmentConfig.executionConfig.ttl
resource.environmentConfig.executionConfig.stagingBucket
PeripheralsConfig
resource.environmentConfig.peripheralsConfig.metastoreService
resource.environmentConfig.peripheralsConfig.sparkHistoryServerConfig.dataprocCluster
Esempi di vincoli personalizzati per casi d'uso comuni
La tabella seguente fornisce esempi di vincoli personalizzati per i job batch Dataproc Serverless:
Descrizione | Sintassi dei vincoli |
---|---|
Al batch deve essere associata un'etichetta "category" con i valori consentiti. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustHaveSpecifiedCategoryLabel resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ("category" in resource.labels) && (resource.labels['category'] in ['retail', 'ads', 'service']) actionType: ALLOW displayName: Enforce batch "category" label requirement. description: Only allow batch creation if it attaches a "category" label with an allowable value. |
Il batch deve impostare una versione del runtime consentita. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseAllowedVersion resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.version)) && (resource.runtimeConfig.version in ["2.0.45", "2.0.48"]) actionType: ALLOW displayName: Enforce batch runtime version. description: Only allow batch creation if it sets an allowable runtime version. |
Devi utilizzare SparkSQL. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustUseSparkSQL resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.sparkSqlBatch)) actionType: ALLOW displayName: Enforce batch only use SparkSQL Batch. description: Only allow creation of SparkSQL Batch. |
Il batch deve impostare un TTL inferiore a 2 ore. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchMustSetLessThan2hTtl resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.environmentConfig.executionConfig.ttl)) && (resource.environmentConfig.executionConfig.ttl <= duration('2h')) actionType: ALLOW displayName: Enforce batch TTL. description: Only allow batch creation if it sets an allowable TTL. |
Il batch non può impostare più di 20 esecutori iniziali Spark. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.executor.instances' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.executor.instances'])>20) actionType: DENY displayName: Enforce maximum number of batch Spark executor instances. description: Deny batch creation if it specifies more than 20 Spark executor instances. |
Il batch non può impostare più di 20 esecutori iniziali di allocazione dinamica Spark. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationInitialExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (has(resource.runtimeConfig.properties)) && ('spark.dynamicAllocation.initialExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.initialExecutors'])>20) actionType: DENY displayName: Enforce maximum number of batch dynamic allocation initial executors. description: Deny batch creation if it specifies more than 20 Spark dynamic allocation initial executors. |
Il batch non deve consentire più di 20 esecutori di allocazione dinamica. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchDynamicAllocationMaxExecutorMax20 resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: (resource.runtimeConfig.properties['spark.dynamicAllocation.enabled']=='false') || (('spark.dynamicAllocation.maxExecutors' in resource.runtimeConfig.properties) && (int(resource.runtimeConfig.properties['spark.dynamicAllocation.maxExecutors'])<=20)) actionType: ALLOW displayName: Enforce batch maximum number of dynamic allocation executors. description: Only allow batch creation if dynamic allocation is disabled or the maximum number of dynamic allocation executors is set to less than or equal to 20. |
Il batch deve impostare la chiave KMS su un pattern consentito. |
name: organizations/ORGANIZATION_ID/custom.batchKmsPattern resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: matches(resource.environmentConfig.executionConfig.kmsKey, '^keypattern[a-z]$') actionType: ALLOW displayName: Enforce batch KMS Key pattern. description: Only allow batch creation if it sets the KMS key to an allowable pattern. |
Il batch deve impostare il prefisso del bucket di staging su un valore consentito. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchStagingBucketPrefix
resourceTypes:
- dataproc.googleapis.com/Batch
methodTypes:
- CREATE
condition: resource.environmentConfig.executionConfig.stagingBucket.startsWith( |
L'impostazione della memoria dell'eseguitore batch deve terminare con un suffisso "m" ed essere inferiore a 20000 m. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.batchExecutorMemoryMax resourceTypes: - dataproc.googleapis.com/Batch methodTypes: - CREATE condition: ('spark.executor.memory' in resource.runtimeConfig.properties) && (resource.runtimeConfig.properties['spark.executor.memory'].endsWith('m')) && (int(resource.runtimeConfig.properties['spark.executor.memory'].split('m')[0])<20000) actionType: ALLOW displayName: Enforce batch executor maximum memory. description: Only allow batch creation if the executor memory setting ends with an 'm' suffix and is less than 20000 m. |
Passaggi successivi
- Per saperne di più sui criteri dell'organizzazione, consulta la Introduzione al servizio Criteri dell'organizzazione.
- Scopri di più su come creare e gestire i criteri dell'organizzazione.
- Consulta l'elenco completo dei vincoli dei criteri dell'organizzazione predefiniti.