Gestire le risorse Dataflow utilizzando vincoli personalizzati

La policy dell'organizzazioneGoogle Cloud offre un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore delle policy dell'organizzazione, puoi definire una policy dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorseGoogle Cloud e ai discendenti di queste risorse nella gerarchia delle risorseGoogle Cloud . Puoi applicare le policy dell'organizzazione a livello di organizzazione, cartella o progetto.

La policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se cerchi un controllo più granulare e personalizzabile sui campi specifici limitati nelle policy dell'organizzazione, puoi anche creare policy dell'organizzazione personalizzate.

Vantaggi

Puoi utilizzare una policy dell'organizzazione personalizzata per consentire o negare la creazione di job Dataflow con condizioni basate su attributi delle risorse supportati, come nome, tipo e opzioni di servizio del job.

Ereditarietà delle policy

Per impostazione predefinita, le policy dell'organizzazione vengono ereditate dai discendenti delle risorse su cui applichi la policy. Ad esempio, se applichi una policy a una cartella, Google Cloud applica la policy a tutti i progetti contenuti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio relativo alle policy dell'organizzazione, incluse le policy predefinite e personalizzate, viene fornito senza costi aggiuntivi.

Limitazioni

  • I vincoli personalizzati per le risorse Dataflow Job possono essere configurati solo utilizzando la console Google Cloud o Google Cloud CLI.

  • I vincoli personalizzati possono essere applicati solo al metodo CREATE per le risorse Dataflow Job.

  • I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

Per saperne di più su cosa sono le policy e i vincoli dell'organizzazione e su come funzionano, consulta la pagina Introduzione al servizio Policy dell'organizzazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore delle policy dell'organizzazione (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire le policy dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea un vincolo personalizzato

Un vincolo personalizzato è definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni supportate dal servizio a cui stai applicando la policy dell'organizzazione. Le condizioni per i vincoli personalizzati vengono definite utilizzando il Common Expression Language (CEL). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando il CEL, consulta la sezione relativa al CEL di Creazione e gestione di vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

  • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

  • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.denyPrimeJobs. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: il nome (non l'URI) della risorsa REST dell'API Dataflow contenente l'oggetto e il campo che vuoi limitare. Ad esempio, Job.

  • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per ulteriori informazioni sulle risorse disponibili in base a cui scrivere condizioni, consulta la sezione Risorse supportate. Ad esempio "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: l'azione da eseguire se condition è soddisfatta. I valori supportati sono ALLOW e DENY.

  • DISPLAY_NAME: un nome facile da ricordare per il vincolo. Questo campo ha una lunghezza massima di 200 caratteri.

  • DESCRIPTION: una descrizione chiara del vincolo da visualizzare come messaggio di errore in caso di violazione della policy. Questo campo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

Configura un vincolo personalizzato

Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per le policy dell'organizzazione. Per impostare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Sostituisci CONSTRAINT_PATH con il percorso completo del file del vincolo personalizzato. Ad esempio: /home/user/customconstraint.yaml. Al termine, i vincoli personalizzati sono disponibili come policy dell'organizzazione nel tuo elenco di policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Sostituisci ORGANIZATION_ID con l'ID della risorsa della tua organizzazione. Per ulteriori informazioni, consulta Visualizzazione delle policy dell'organizzazione.

Applicare una policy dell'organizzazione personalizzata

Puoi applicare un vincolo creando una policy dell'organizzazione che lo richiami e poi applicando questa policy dell'organizzazione a una risorsa Google Cloud .

Console

  1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

    Vai a Policy dell'organizzazione

  2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare la policy dell'organizzazione.
  3. Nell'elenco della pagina Policy dell'organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli policy relativa al vincolo in questione.
  4. Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
  5. Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
  6. Fai clic su Aggiungi una regola.
  7. Nella sezione Applicazione, seleziona se attivare o meno l'applicazione di questa policy dell'organizzazione
  8. (Facoltativo) Per rendere la policy dell'organizzazione condizionale su un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti la policy non può essere salvata. Per ulteriori informazioni, consulta Impostazione di una policy dell'organizzazione con tag.
  9. Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per ulteriori informazioni, consulta Testa le modifiche alla policy dell'organizzazione con Policy Simulator.
  10. Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione della policy può richiedere fino a 15 minuti.

gcloud

Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Sostituisci quanto segue:

  • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
  • CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio: custom.denyPrimeJobs.

Per applicare la policy dell'organizzazione contenente il vincolo, esegui il seguente comando: 

    gcloud org-policies set-policy POLICY_PATH

Sostituisci POLICY_PATH con il percorso completo del file YAML della policy dell'organizzazione. L'applicazione della policy può richiedere fino a 15 minuti.

Esempio: crea un vincolo per impedire la creazione di un job con Prime abilitato

gcloud

  1. Crea un file di vincolo denyPrimeJobs.yaml con le seguenti informazioni. Sostituisci ORGANIZATION_ID con l'ID organizzazione.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Imposta il vincolo personalizzato.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crea un file di policy enforce-policy-denyPrimeJobs.yaml con le seguenti informazioni. In questo esempio, il vincolo viene applicato a livello di progetto. Puoi impostare questo vincolo anche a livello di organizzazione o cartella. Sostituisci PROJECT_ID con l'ID progetto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Applica la policy eseguendo il seguente comando. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Per testare il vincolo, prova a creare un job Dataflow con l'opzione enable_prime. Segui la Guida rapida per creare una pipeline Dataflow utilizzando Java per creare un job WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    L'output è simile al seguente:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    Il log di controllo dovrebbe mostrare i dettagli della violazione come segue: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campi dell'espressione per le condizioni

La tabella seguente contiene i campi dell'espressione che puoi utilizzare per creare condizioni. Le condizioni sono scritte in Common Expression Language (CEL). Il valore dei campi dell'espressione è sensibile alle maiuscole.

Per le descrizioni dei seguenti campi dell'espressione e dei valori che puoi specificare, consulta la rappresentazione JSON di Job Dataflow.

Campo Espressione Tipo di valore
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Esempi di casi d'uso

Nella tabella seguente sono elencati alcuni casi d'uso di esempio.

Caso d'uso Azione Vincolo personalizzato
Non consentire l'utilizzo del job principale DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impedisce alle VM di accettare le chiavi SSH archiviate nei metadati del progetto. DENY !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Non consentire i job senza impostare il numero massimo di secondi per l'esecuzione del job DENY !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Passaggi successivi