Gestire le risorse Dataflow utilizzando vincoli personalizzati

I criteri dell'organizzazione di Google Cloud offrono un sistema centralizzato e programmatico un controllo completo sulle risorse dell'organizzazione. In qualità di amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, ovvero un insieme di limitazioni chiamate vincoli che si applicano alle risorse Google Cloud e ai relativi discendenti nella gerarchia delle risorse Google Cloud. Puoi applicare i criteri dell'organizzazione all'indirizzo a livello di organizzazione, cartella o progetto.

I criteri dell'organizzazione forniscono vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi più granulare, personalizzabile controllo sui campi specifici con restrizioni nella tua organizzazione criteri, puoi anche creare criteri dell'organizzazione personalizzati.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare la creazione di job Dataflow con condizioni basate su supportati gli attributi delle risorse, come nome job, tipo e opzioni di servizio.

Ereditarietà dei criteri

Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti dei e le risorse a cui applichi il criterio. Ad esempio, se applichi un criterio a una cartella, Google Cloud lo applica a tutti i progetti contenuti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio di criteri dell'organizzazione, inclusi i criteri dell'organizzazione predefiniti e personalizzati, viene fornito senza costi.

Limitazioni

  • I vincoli personalizzati per le risorse Dataflow Job possono essere configurati solo utilizzando la console Google Cloud o Google Cloud CLI.

  • È possibile applicare vincoli personalizzati solo al metodo CREATE per le risorse Dataflow Job.

  • I vincoli personalizzati appena applicati non si applicano alle risorse esistenti.

Prima di iniziare

Per ulteriori informazioni sui criteri e i vincoli dell'organizzazione come funzionano, consulta le Introduzione al servizio Criteri dell'organizzazione.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i criteri dell'organizzazione, chiedi all'amministratore di concederti il ruolo IAM Amministratore dei criteri dell'organizzazione (roles/orgpolicy.policyAdmin) nell'organizzazione. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per gestire i criteri dell'organizzazione sono necessarie le seguenti autorizzazioni:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.

Creare un vincolo personalizzato

Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi le condizioni e le azioni supportate dal servizio per applicare il criterio dell'organizzazione. Le condizioni per i vincoli personalizzati definiti utilizzando CEL (Common Expression Language). Per ulteriori informazioni su come creare condizioni nei vincoli personalizzati utilizzando CEL, consulta la sezione CEL di Creare e gestire vincoli personalizzati.

Per creare un file YAML per un vincolo personalizzato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Sostituisci quanto segue:

  • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

  • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad ad esempio custom.denyPrimeJobs. La lunghezza massima di questo campo è 70 caratteri, senza contare il prefisso, ad esempio organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: il nome (non l'URI) dell'URI Risorsa REST dell'API Dataflow contenente l'oggetto e il campo vuoi limitare. Ad esempio, Job.

  • CONDITION: una condizione CEL scritta in base a di una risorsa di servizio supportata. Questo ha una lunghezza massima di 1000 caratteri. Consulta: Risorse supportate per ulteriori informazioni sugli e risorse disponibili per scrivere le condizioni. Ad esempio, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: l'azione da intraprendere se viene soddisfatto il criterio condition. I valori supportati sono ALLOW e DENY.

  • DISPLAY_NAME: un nome comprensibile per la limitazione. Questo campo ha una lunghezza massima di 200 caratteri.

  • DESCRIPTION: una descrizione comprensibile del vincolo da visualizzare come messaggio di errore in caso di violazione del criterio. Questo ha una lunghezza massima di 2000 caratteri.

Per saperne di più su come creare un vincolo personalizzato, consulta Definire vincoli personalizzati.

Configurare un vincolo personalizzato

Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per disponibile per i criteri dell'organizzazione nella tua organizzazione. Per impostare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Sostituisci CONSTRAINT_PATH con il percorso completo del tuo personalizzato. Ad esempio: /home/user/customconstraint.yaml. Al termine, troverai i vincoli personalizzati come criteri dell'organizzazione disponibili nel tuo elenco di criteri dell'organizzazione di Google Cloud. Per verificare che la limitazione personalizzata esista, utilizza il comando gcloud org-policies list-custom-constraints:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Sostituisci ORGANIZATION_ID con l'ID della risorsa dell'organizzazione. Per ulteriori informazioni, consulta Visualizzare i criteri dell'organizzazione.

Applicare un criterio dell'organizzazione personalizzato

Puoi applicare un vincolo booleano creando un criterio dell'organizzazione che vi faccia riferimento. e applicando il criterio dell'organizzazione a una risorsa Google Cloud.

Console

Per applicare un vincolo booleano:

  1. Nella console Google Cloud, vai alla pagina Norme dell'organizzazione.

    Vai a Criteri dell'organizzazione

  2. Seleziona il selettore del progetto nella parte superiore della pagina.
  3. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare il criterio dell'organizzazione.
  4. Seleziona il vincolo dall'elenco nella pagina Criteri dell'organizzazione. Dovrebbe essere visualizzata la pagina Dettagli criterio per il vincolo in questione.
  5. Per configurare il criterio dell'organizzazione per questa risorsa, fai clic su Gestisci criterio.
  6. Nella pagina Modifica criterio, seleziona Ignora criterio della risorsa padre.
  7. Fai clic su Aggiungi una regola.
  8. In Applicazione, scegli se applicare questo criterio dell'organizzazione deve essere attivato o disattivato.
  9. Se vuoi, per applicare le condizioni del criterio dell'organizzazione a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a un criterio dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti il criterio non può essere salvato. Per maggiori informazioni i dettagli, vedi Impostazione di un criterio dell'organizzazione con i tag.
  10. Se si tratta di un vincolo personalizzato, puoi fare clic su Testa modifiche per simulare l'effetto di questo criterio dell'organizzazione. Per ulteriori informazioni, consulta Testare le modifiche ai criteri dell'organizzazione con Policy Simulator.
  11. Per completare e applicare il criterio dell'organizzazione, fai clic su Imposta criterio. L'applicazione del criterio richiederà fino a 15 minuti.

gcloud

Per creare un criterio dell'organizzazione che applichi un vincolo booleano, crea un criterio File YAML che fa riferimento al vincolo:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Sostituisci quanto segue:

  • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
  • CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio, custom.denyPrimeJobs.

Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:

    gcloud org-policies set-policy POLICY_PATH
    

Sostituisci POLICY_PATH con il percorso completo del criterio dell'organizzazione YAML. L'applicazione del criterio richiederà fino a 15 minuti.

Esempio: creare un vincolo per negare la creazione di un job con prime abilitato

gcloud

  1. Crea un file di vincolo denyPrimeJobs.yaml con quanto segue informazioni. Sostituisci ORGANIZATION_ID con il ID della tua organizzazione.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
    resource_types: dataflow.googleapis.com/Job
    condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
    action_type: DENY
    method_types: CREATE
    display_name: Restrict creation of job with prime enabled
    description: Deny creation of jobs with prime enabled.
  2. Imposta il vincolo personalizzato.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml
    
  3. Crea un file di criteri enforce-policy-denyPrimeJobs.yaml con quanto segue informazioni. In questo esempio, il vincolo viene applicato in modo forzato a livello di progetto livello. Puoi impostare questo vincolo anche a livello di organizzazione o cartella. Sostituisci PROJECT_ID con il tuo ID progetto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
          spec:
            rules:
    enforce: true
  4. Applica il criterio eseguendo il comando seguente.

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml
    

  5. Per testare la limitazione, prova a creare un job Dataflow con l'opzioneenable_prime. Segui le Crea una pipeline Dataflow utilizzando Java rapida per creare un job WordCount.

    mvn -Pdataflow-runner compile \
    exec:java \
    -Dexec.mainClass=org.apache.beam.examples.WordCount \
    -Dexec.args="--project=PROJECT_ID \
    --gcpTempLocation=gs://BUCKET_NAME/temp/ \
    --output=gs://BUCKET_NAME/output \
    --runner=DataflowRunner \
    --region=us-central1 \
    --dataflowServiceOptions=enable_prime" \
    -Pdataflow-runner
    

    L'output è simile al seguente esempio:

    "details" : [ {
      "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
      "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
    }]

    Il log di controllo deve mostrare i dettagli della violazione come segue:

      policyViolationInfo: {
        orgPolicyViolationInfo: {
        violationInfo: [
        0: {
          constraint: "customConstraints/custom.denyPrimeJobs"
          errorMessage: "Restrict creation of job with prime enabled"
          policyType: "CUSTOM_CONSTRAINT"
        }]}}

Campi di espressione per le condizioni

La tabella seguente contiene i campi delle espressioni che puoi utilizzare per creare le condizioni di traffico. Le condizioni sono scritte in Common Expression Language (CEL). Il valore dei campi dell'espressione è sensibile alle maiuscole.

Per le descrizioni dei seguenti campi di espressione e dei valori che puoi specificare, consulta la rappresentazione JSON del flusso di dati Job.

Campo Espressione Tipo di valore
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Esempi di casi d'uso

Alcuni casi d'uso di esempio sono elencati nella tabella seguente.

Caso d'uso Azione Vincolo personalizzato
Non consentire l'uso del job principale DENY resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impedisce alle VM di accettare chiavi SSH archiviate nei metadati di progetto. RIFIUTA !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Non consentire i job senza impostare il numero massimo di secondi di esecuzione RIFIUTA !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

Passaggi successivi