Gestione delle risorse Dataproc utilizzando vincoli personalizzati
I criteri dell'organizzazione di Google Cloud offrono un sistema centralizzato e programmatico un controllo completo sulle risorse dell'organizzazione. Come amministratore dei criteri dell'organizzazione, puoi definire un criterio dell'organizzazione, un insieme di restrizioni denominate vincoli che si applicano le risorse Google Cloud e i discendenti di queste risorse nel Gerarchia delle risorse di Google Cloud. Puoi applicare i criteri dell'organizzazione all'indirizzo a livello di organizzazione, cartella o progetto.
I criteri dell'organizzazione forniscono vincoli predefiniti per vari servizi Google Cloud. Tuttavia, se vuoi più granulare, personalizzabile controllo sui campi specifici con restrizioni nella tua organizzazione criteri, puoi anche creare vincoli personalizzati e utilizzarli dei vincoli in un criterio dell'organizzazione personalizzato.
Vantaggi
Puoi utilizzare un criterio dell'organizzazione personalizzato per consentire o negare su cluster Dataproc. Ad esempio, se non viene soddisfatta una richiesta di creazione o aggiornamento di un cluster la convalida di vincoli personalizzati come impostata dal criterio dell'organizzazione la richiesta avrà esito negativo e verrà restituito un errore al chiamante.
Eredità dei criteri
Per impostazione predefinita, i criteri dell'organizzazione vengono ereditati dai discendenti dei e le risorse a cui applichi il criterio. Ad esempio, se applichi un criterio su una cartella, Google Cloud applica i criteri a tutti i progetti . Per scoprire di più su questo comportamento e su come modificarlo, consulta Regole di valutazione della gerarchia.
Prezzi
Il servizio Criteri dell'organizzazione, inclusi i criteri predefiniti e personalizzati dell'organizzazione, è offerto senza costi aggiuntivi.
Prima di iniziare
- Configurare il progetto
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Dataproc.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Dataproc.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Assicurati di conoscere ID organizzazione.
Ruoli obbligatori
Per ottenere le autorizzazioni necessarie per gestire i criteri dell'organizzazione, chiedi all'amministratore di concederti seguenti ruoli IAM:
-
Amministratore criteri dell'organizzazione (
roles/orgpolicy.policyAdmin
) sulla risorsa dell'organizzazione -
Per creare o aggiornare un cluster Dataproc:
Dataproc Admin o Dataproc Editor (
roles/dataproc.admin
oroles/dataproc.editor
) sulla risorsa di progetto
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.
Questi ruoli predefiniti le autorizzazioni necessarie per gestire i criteri dell'organizzazione. Per vedere le autorizzazioni esatte obbligatorie, espandi la sezione Autorizzazioni obbligatorie:
Autorizzazioni obbligatorie
Per gestire i criteri dell'organizzazione sono necessarie le seguenti autorizzazioni:
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
Potresti anche riuscire a ottenere queste autorizzazioni con ruoli personalizzati altri ruoli predefiniti.
Crea un vincolo personalizzato
Un vincolo personalizzato viene definito in un file YAML dalle risorse, dai metodi
condizioni e azioni a cui è applicato. Dataproc supporta
vincoli personalizzati applicati ai metodi CREATE
e UPDATE
del
CLUSTER
risorsa (vedi
vincoli di Dataproc su risorse e operazioni).
Per creare un file YAML per un vincolo personalizzato di Dataproc:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION
Sostituisci quanto segue:
ORGANIZATION_ID
: l'ID della tua organizzazione, ad esempio123456789
.CONSTRAINT_NAME
: il nome che vuoi per il tuo nuovo un vincolo personalizzato. Un vincolo personalizzato deve iniziare concustom.
e può includere solo lettere maiuscole, lettere minuscole o numeri, per ad esempio custom.dataprocEnableComponentGateway. La lunghezza massima di questo campo è 70 senza contare il prefisso, ad esempioorganizations/123456789/customConstraints/custom
.
METHOD
: quando crei un vincolo di creazione del cluster, specificareCREATE
. Quando crei un vincoloUPDATE
per il cluster, specifica entrambi come che segue:methodTypes: - CREATE - UPDATE
CONDITION
: una condizione CEL scritta in base a di una risorsa di servizio supportata. Questo campo ha un limite massimo di 1000 caratteri. Consulta Risorse supportate per ulteriori informazioni sulle risorse disponibili per la scrittura delle condizioni. Ad esempio:"resource.config.endpointConfig.enableHttpPortAccess==true"
.ACTION
: l'azione da eseguire secondition
è sono soddisfatte determinate condizioni. Può essereALLOW
oDENY
.DISPLAY_NAME
: un nome semplice per un vincolo di applicazione forzata, ad esempio "Forza l'abilitazione del gateway dei componenti Dataproc". Questo campo ha una lunghezza massima di 200 caratteri.DESCRIPTION
: una descrizione del essere visualizzato come messaggio di errore quando il criterio viene violato, ad esempio: "Consenti la creazione di cluster Dataproc solo se il gateway dei componenti è attivata". Questo campo ha una lunghezza massima di 2000 caratteri.
Per saperne di più su come creare un vincolo personalizzato, consulta Definizione di vincoli personalizzati.
Configura un vincolo personalizzato
Dopo aver creato un nuovo vincolo personalizzato utilizzando Google Cloud CLI, devi configurarlo per disponibile per i criteri dell'organizzazione nella tua organizzazione. Per configurare un vincolo personalizzato, utilizza il comandogcloud org-policies set-custom-constraint
:
gcloud org-policies set-custom-constraint CONSTRAINT_PATHSostituisci
CONSTRAINT_PATH
con il percorso completo del tuo
personalizzato. Ad esempio: /home/user/customconstraint.yaml
.
Al termine, troverai i vincoli personalizzati come criteri dell'organizzazione disponibili
nel tuo elenco di criteri dell'organizzazione
di Google Cloud.
Per verificare che il vincolo personalizzato esista, utilizza il metodo
Comando gcloud org-policies list-custom-constraints
:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_IDSostituisci
ORGANIZATION_ID
con l'ID della risorsa dell'organizzazione.
Per ulteriori informazioni, vedi
Visualizzazione dei criteri dell'organizzazione.
Applica un vincolo personalizzato
Puoi applicare un vincolo booleano creando un criterio dell'organizzazione che vi faccia riferimento. e applicando il criterio dell'organizzazione a una risorsa Google Cloud.Console
Per applicare un vincolo booleano:
- Nella console Google Cloud, vai alla pagina Criteri dell'organizzazione.
- Seleziona il selettore di progetti nella parte superiore della pagina.
- Dal selettore di progetti, scegli il progetto per il quale vuoi impostare criterio dell'organizzazione.
- Seleziona il vincolo dall'elenco nella pagina Criteri dell'organizzazione. Dovrebbe essere visualizzata la pagina Dettagli criterio per il vincolo in questione.
- Per configurare il criterio dell'organizzazione per questa risorsa, fai clic su Gestisci criterio.
- Nella pagina Modifica criterio, seleziona Sostituisci criterio della risorsa padre.
- Fai clic su Aggiungi una regola.
- In Applicazione, scegli se applicare questo criterio dell'organizzazione deve essere attivato o disattivato.
- Se vuoi, per applicare le condizioni del criterio dell'organizzazione a un tag, fai clic su Aggiungi condizione. Tieni presente che se aggiungi una regola condizionale a un'organizzazione devi aggiungere almeno una regola incondizionata. In caso contrario, la norma non potrà essere salvata. Per maggiori informazioni i dettagli, vedi Impostazione di un criterio dell'organizzazione con i tag.
- Se si tratta di un vincolo personalizzato, puoi fare clic su Testa modifiche per simulare l'effetto di questo criterio dell'organizzazione. Per ulteriori informazioni, vedi Testa le modifiche ai criteri dell'organizzazione con Policy Simulator.
- Per completare e applicare il criterio dell'organizzazione, fai clic su Imposta criterio. Le norme potrebbero essere necessari fino a 15 minuti.
gcloud
Per creare un criterio dell'organizzazione che applichi un vincolo booleano, crea un criterio File YAML che fa riferimento al vincolo:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Sostituisci quanto segue:
-
PROJECT_ID
: il progetto su cui vuoi applicare in modo forzato i tuoi di blocco. -
CONSTRAINT_NAME
: il nome definito per il vincolo personalizzato. Per ad esempiocustom.dataprocEnableComponentGateway
.
Per applicare il criterio dell'organizzazione contenente il vincolo, esegui questo comando:
gcloud org-policies set-policy POLICY_PATH
Sostituisci POLICY_PATH
con il percorso completo del criterio dell'organizzazione
YAML. L'applicazione del criterio richiederà fino a 15 minuti.
Testa il vincolo personalizzato
L'esempio di creazione del cluster seguente presuppone che un criterio dell'organizzazione personalizzato abbia
per richiedere l'abilitazione
Gateway dei componenti
(resource.config.endpointConfig.enableHttpPortAccess==true
).
gcloud dataproc clusters create example-cluster \
--project=PROJECT_ID \
--zone=COMPUTE_ZONE
Esempio di output (per impostazione predefinita, il gateway dei componenti non è abilitato quando viene creato il cluster Dataproc):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]
Vincoli di Dataproc su risorse e operazioni
I seguenti campi dei vincoli personalizzati di Dataproc sono disponibili da utilizzare quando crei o aggiorni un cluster Dataproc. Tieni presente che quando si aggiorna un cluster, vengono applicati solo i vincoli relativi al cluster modificabile sono supportati (vedi Aggiornamento di un cluster).
- Configurazione di rete di Compute Engine (networkUri, internalIpOnly, serviceAccount e metadati)
resource.config.gceClusterConfig.networkUri
resource.config.gceClusterConfig.internalIpOnly
resource.config.gceClusterConfig.serviceAccount
resource.config.gceClusterConfig.metadata
- Configurazione dei gruppi di istanze Compute Engine (imageUri e machineTypeUri)
resource.config.masterConfig.imageUri
resource.config.masterConfig.machineTypeUri
resource.config.workerConfig.imageUri
resource.config.workerConfig.machineTypeUri
resource.config.secondaryWorkerConfig.imageUri
resource.config.secondaryWorkerConfig.machineTypeUri
- Configurazione del disco di un gruppo di istanze Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskType
resource.config.workerConfig.diskConfig.bootDiskType
resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
resource.config.masterConfig.diskConfig.bootDiskSizeGb
resource.config.workerConfig.diskConfig.bootDiskSizeGb
resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
resource.config.masterConfig.diskConfig.numLocalSsds
resource.config.workerConfig.diskConfig.numLocalSsds
resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
resource.config.masterConfig.diskConfig.localSsdInterface
resource.config.workerConfig.diskConfig.localSsdInterface
resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Azioni di inizializzazione (executableFile)
resource.config.initializationActions.executableFile
- Configurazione software (imageVersion, proprietà e optionalComponents)
resource.config.softwareConfig.imageVersion
resource.config.softwareConfig.properties
resource.config.softwareConfig.optionalComponents
- Configurazione Kerberos (enableKerberos e crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberos
resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Gateway dei componenti (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Configurazione di Metastore (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK disco permanente (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Etichette del cluster
resource.labels
- Dimensione del cluster
resource.config.masterConfig.numInstances
resource.config.workerConfig.numInstances
resource.config.secondaryWorkerConfig.numInstances
- Scalabilità automatica
resource.config.autoscalingConfig.policyUri
Esempi di vincoli personalizzati per i casi d'uso comuni
La tabella seguente fornisce esempi di vincoli personalizzati:
Descrizione | Sintassi del vincolo |
---|---|
Limita il numero di istanze worker Dataproc a 10 quando un cluster viene creato o aggiornato. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers. |
Impedisci l'esecuzione del master dell'applicazione su Dataproc dei cluster prerilasciabili. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true". |
Non consentire le proprietà Hive personalizzate sui cluster Dataproc. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:". |
Non consentire l'utilizzo del tipo di macchina n1-standard-2 per le istanze master Dataproc. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2. |
Forza l'utilizzo di uno script di azioni di inizializzazione specificato. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used. |
Forza l'uso di una chiave di crittografia del disco permanente specificata. |
name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring. |
Applica restrizioni sulle etichette del cluster. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test". |
Imponi l'uso di una rete non predefinita. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network. |
Passaggi successivi
- Per saperne di più sui criteri dell'organizzazione, consulta Introduzione al servizio Criteri dell'organizzazione.
- Scopri di più su come creare e gestire i criteri dell'organizzazione.
- Consulta l'elenco completo dei vincoli dei criteri dell'organizzazione predefiniti.