Gestisci le risorse Dataproc utilizzando vincoli personalizzati

La policy dell'organizzazioneGoogle Cloud offre un controllo centralizzato e programmatico sulle risorse della tua organizzazione. In qualità di amministratore della policy dell'organizzazione, puoi definire una policy dell'organizzazione, ovvero un set di limitazioni chiamate vincoli che si applicano alle risorseGoogle Cloud e ai discendenti di queste risorse nella gerarchia delle risorseGoogle Cloud . Puoi applicare le policy dell'organizzazione a livello di organizzazione, cartella o progetto.

La policy dell'organizzazione fornisce vincoli predefiniti per vari serviziGoogle Cloud . Tuttavia, se cerchi un controllo più granulare e personalizzabile sui campi specifici limitati nelle policy dell'organizzazione, puoi anche creare vincoli personalizzati e utilizzarli in una policy dell'organizzazione personalizzata.

Vantaggi

Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare operazioni specifiche sui cluster Dataproc. Ad esempio, se una richiesta di creazione o aggiornamento di un cluster non soddisfa la convalida dei vincoli personalizzati come impostato dalla policy dell'organizzazione, la richiesta non andrà a buon fine e verrà restituito un errore al chiamante.

Ereditarietà delle policy

Per impostazione predefinita, le policy dell'organizzazione vengono ereditate dai discendenti delle risorse su cui applichi la policy. Ad esempio, se applichi una policy a una cartella, Google Cloud applica la policy a tutti i progetti contenuti nella cartella. Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.

Prezzi

Il servizio relativo alle policy dell'organizzazione, incluse le policy predefinite e personalizzate, viene fornito senza costi aggiuntivi.

Prima di iniziare

  1. Configura il progetto
    1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

    2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    3. Verify that billing is enabled for your Google Cloud project.

    4. Enable the Dataproc API.

      Enable the API

    5. Install the Google Cloud CLI.

    6. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere alla gcloud CLI con la tua identità federata.

    7. Per inizializzare gcloud CLI, esegui questo comando: 

      gcloud init

    8. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Go to project selector

    9. Verify that billing is enabled for your Google Cloud project.

    10. Enable the Dataproc API.

      Enable the API

    11. Install the Google Cloud CLI.

    12. Se utilizzi un provider di identità (IdP) esterno, devi prima accedere alla gcloud CLI con la tua identità federata.

    13. Per inizializzare gcloud CLI, esegui questo comando: 

      gcloud init
    14. Assicurati di conoscere il tuo ID organizzazione.

      15. Ruoli obbligatori

      Per ottenere le autorizzazioni necessarie per gestire le policy dell'organizzazione, chiedi all'amministratore di concederti i seguenti ruoli IAM:

      Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

      Questi ruoli predefiniti contengono le autorizzazioni necessarie per gestire le policy dell'organizzazione. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

      Autorizzazioni obbligatorie

      Per gestire le policy dell'organizzazione sono necessarie le seguenti autorizzazioni:

      • orgpolicy.constraints.list
      • orgpolicy.policies.create
      • orgpolicy.policies.delete
      • orgpolicy.policies.list
      • orgpolicy.policies.update
      • orgpolicy.policy.get
      • orgpolicy.policy.set

      Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

      Crea un vincolo personalizzato

      Un vincolo personalizzato è definito in un file YAML dalle risorse, dai metodi, dalle condizioni e dalle azioni a cui viene applicato. Dataproc supporta vincoli personalizzati applicati ai metodi CREATE e UPDATE della risorsa CLUSTER (vedi Vincoli di Dataproc su risorse e operazioni).

      Per creare un file YAML per un vincolo personalizzato Dataproc:

      name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes: 
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

      Sostituisci quanto segue:

      • ORGANIZATION_ID: l'ID della tua organizzazione, ad esempio 123456789.

      • CONSTRAINT_NAME: il nome che vuoi assegnare al nuovo vincolo personalizzato. Un vincolo personalizzato deve iniziare con custom. e può includere solo lettere maiuscole, lettere minuscole o numeri, ad esempio custom.dataprocEnableComponentGateway. La lunghezza massima di questo campo è di 70 caratteri, senza contare il prefisso, ad esempio organizations/123456789/customConstraints/custom.

      • METHOD: quando crei un vincolo di creazione del cluster, specifica CREATE. Quando crei un vincolo del cluster UPDATE, specifica entrambi come segue: 
        methodTypes:
- CREATE
- UPDATE

      • CONDITION: una condizione CEL scritta in base a una rappresentazione di una risorsa di servizio supportata. Questo campo ha una lunghezza massima di 1000 caratteri. Per ulteriori informazioni sulle risorse disponibili in base a cui scrivere condizioni, consulta la sezione Risorse supportate. Ad esempio: "resource.config.endpointConfig.enableHttpPortAccess==true".

      • ACTION: l'azione da eseguire se condition è soddisfatta. Può essere ALLOW o DENY.

      • DISPLAY_NAME: un nome facile da ricordare per il vincolo, ad esempio "Imponi l'attivazione di Dataproc Component Gateway". Questo campo ha una lunghezza massima di 200 caratteri.

      • DESCRIPTION: una descrizione chiara del vincolo da visualizzare come messaggio di errore in caso di violazione della policy, ad esempio "Consenti la creazione del cluster Dataproc solo se il gateway dei componenti è attivato". Questo campo ha una lunghezza massima di 2000 caratteri.

      Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.

      Configura un vincolo personalizzato

      Dopo aver creato il file YAML per un nuovo vincolo personalizzato, devi configurarlo per renderlo disponibile per le policy dell'organizzazione. Per impostare un vincolo personalizzato, utilizza il comando gcloud org-policies set-custom-constraint: 
      gcloud org-policies set-custom-constraint CONSTRAINT_PATH
       Sostituisci CONSTRAINT_PATH con il percorso completo del file del vincolo personalizzato. Ad esempio: /home/user/customconstraint.yaml. Al termine, i vincoli personalizzati sono disponibili come policy dell'organizzazione nel tuo elenco di policy dell'organizzazione Google Cloud . Per verificare che il vincolo personalizzato esista, utilizza il comando gcloud org-policies list-custom-constraints: 
      gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
       Sostituisci ORGANIZATION_ID con l'ID della risorsa della tua organizzazione. Per ulteriori informazioni, consulta Visualizzazione delle policy dell'organizzazione.

      Applica un vincolo personalizzato

      Puoi applicare un vincolo creando una policy dell'organizzazione che lo richiami e poi applicando questa policy dell'organizzazione a una risorsa Google Cloud .

      Console

      1. Nella console Google Cloud , vai alla pagina Policy dell'organizzazione.

        Vai a Policy dell'organizzazione

      2. Nel selettore di progetti, seleziona il progetto per cui vuoi impostare la policy dell'organizzazione.
      3. Nell'elenco della pagina Policy dell'organizzazione, seleziona il vincolo per visualizzare la pagina Dettagli policy relativa al vincolo in questione.
      4. Per configurare la policy dell'organizzazione per questa risorsa, fai clic su Gestisci policy.
      5. Nella pagina Modifica policy, seleziona Esegui override della policy dell'unità organizzativa principale.
      6. Fai clic su Aggiungi una regola.
      7. Nella sezione Applicazione, seleziona se attivare o meno l'applicazione di questa policy dell'organizzazione
      8. (Facoltativo) Per rendere la policy dell'organizzazione condizionale su un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a una policy dell'organizzazione, devi aggiungere almeno una regola non condizionale, altrimenti la policy non può essere salvata. Per ulteriori informazioni, consulta Impostazione di una policy dell'organizzazione con tag.
      9. Fai clic su Testa modifiche per simulare l'effetto della policy dell'organizzazione. La simulazione delle policy non è disponibile per i vincoli gestiti legacy. Per ulteriori informazioni, consulta Testa le modifiche alla policy dell'organizzazione con Policy Simulator.
      10. Per completare e applicare la policy dell'organizzazione, fai clic su Imposta policy. L'applicazione della policy può richiedere fino a 15 minuti.

      gcloud

      Per creare una policy dell'organizzazione con regole booleane, crea un file YAML della policy che faccia riferimento al vincolo: 

            name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

      Sostituisci quanto segue:

      • PROJECT_ID: il progetto su cui vuoi applicare il vincolo.
      • CONSTRAINT_NAME: il nome definito per il vincolo personalizzato. Ad esempio: custom.dataprocEnableComponentGateway.

      Per applicare la policy dell'organizzazione contenente il vincolo, esegui il seguente comando: 

          gcloud org-policies set-policy POLICY_PATH

      Sostituisci POLICY_PATH con il percorso completo del file YAML della policy dell'organizzazione. L'applicazione della policy può richiedere fino a 15 minuti.

      Testa il vincolo personalizzato

      Il seguente esempio di creazione del cluster presuppone che sia stata creata e applicata una policy dell'organizzazione personalizzata durante la creazione del cluster per richiedere l'attivazione di Component Gateway (resource.config.endpointConfig.enableHttpPortAccess==true).

      gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

      Esempio di output (per impostazione predefinita, il gateway dei componenti non è abilitato quando viene creato un cluster Dataproc):

      Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

      Vincoli di Dataproc su risorse e operazioni

      I seguenti campi di vincolo personalizzato Dataproc sono disponibili per l'utilizzo quando crei o aggiorni un cluster Dataproc. Tieni presente che durante l'aggiornamento di un cluster sono supportati solo i vincoli relativi ai parametri del cluster modificabili (vedi Aggiornamento di un cluster).

      • Configurazione di rete di Compute Engine (networkUri, internalIpOnly, serviceAccount e metadata)
        • resource.config.gceClusterConfig.networkUri
        • resource.config.gceClusterConfig.internalIpOnly
        • resource.config.gceClusterConfig.serviceAccount
        • resource.config.gceClusterConfig.metadata
      • Configurazione del gruppo di istanze Compute Engine (imageUri e machineTypeUri)
        • resource.config.masterConfig.imageUri
        • resource.config.masterConfig.machineTypeUri
        • resource.config.workerConfig.imageUri
        • resource.config.workerConfig.machineTypeUri
        • resource.config.secondaryWorkerConfig.imageUri
        • resource.config.secondaryWorkerConfig.machineTypeUri
      • Configurazione del disco del gruppo di istanze Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
        • resource.config.masterConfig.diskConfig.bootDiskType
        • resource.config.workerConfig.diskConfig.bootDiskType
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
        • resource.config.masterConfig.diskConfig.bootDiskSizeGb
        • resource.config.workerConfig.diskConfig.bootDiskSizeGb
        • resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
        • resource.config.masterConfig.diskConfig.numLocalSsds
        • resource.config.workerConfig.diskConfig.numLocalSsds
        • resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
        • resource.config.masterConfig.diskConfig.localSsdInterface
        • resource.config.workerConfig.diskConfig.localSsdInterface
        • resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
      • Azioni di inizializzazione (executableFile)
        • resource.config.initializationActions.executableFile
      • Software config (imageVersion, properties e optionalComponents)
        • resource.config.softwareConfig.imageVersion
        • resource.config.softwareConfig.properties
        • resource.config.softwareConfig.optionalComponents
      • Kerberos config (enableKerberos e crossRealmTrustKdc)
        • resource.config.securityConfig.kerberosConfig.enableKerberos
        • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
      • Component gateway (enableHttpPortAccess)
        • resource.config.endpointConfig.enableHttpPortAccess
      • Metastore config (dataprocMetastoreService)
        • resource.config.metastoreConfig.dataprocMetastoreService
      • CMEK di Persistent Disk (gcePdKmsKeyName)
        • resource.config.encryptionConfig.gcePdKmsKeyName
      • Etichette dei cluster
        • resource.labels
      • Dimensione del cluster
        • resource.config.masterConfig.numInstances
        • resource.config.workerConfig.numInstances
        • resource.config.secondaryWorkerConfig.numInstances
      • Scalabilità automatica
        • resource.config.autoscalingConfig.policyUri

      Esempi di vincoli personalizzati per casi d'uso comuni

      La seguente tabella fornisce esempi di vincoli personalizzati:

      Descrizione Sintassi del vincolo
      Limita il numero di istanze worker Dataproc a 10 o meno quando viene creato o aggiornato un cluster. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
      Impedisci l'esecuzione di application master sui worker preemptive del cluster Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
      Non consentire proprietà Hive personalizzate sui cluster Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
      Non consentire l'utilizzo del tipo di macchina n1-standard-2 per le istanze master Dataproc. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
      Forza l'utilizzo di uno script di azione di inizializzazione specificato. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh"
    initialization action script is used.
      Applica l'utilizzo di una chiave di crittografia del disco permanente specificata. 
          name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
      Applica le limitazioni delle etichette dei cluster. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
      Applica l'utilizzo di una rete non predefinita. 
          name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

      Passaggi successivi