Gerenciar recursos do Dataproc usando restrições personalizadas
A política da organização do Google Cloud oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de limites chamado restrições que se aplicam aos recursos do Google Cloud e aos descendentes desses recursos na Hierarquia de recursos do Google Cloud. É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.
A política da organização fornece restrições predefinidas para vários serviços do Google Cloud. No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também restrições personalizadas e use-as em uma política da organização.
Vantagens
É possível usar uma política da organização personalizada para permitir ou negar operações em clusters do Dataproc. Por exemplo, se uma solicitação para criar ou atualizar um cluster não atender à validação de restrição personalizada definida pela política da sua organização, a solicitação vai falhar e um erro será retornado ao autor da chamada.
Herança de políticas
Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, o Google Cloud aplicará a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.
Preços
O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.
Antes de começar
- Configurar o projeto
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Dataproc API.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Dataproc API.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
- Certifique-se de conhecer o ID da organização.
Funções exigidas
Para receber as permissões necessárias para gerenciar políticas da organização, peça ao administrador para conceder a você os seguintes papéis do IAM:
-
Administrador de políticas da organização (
roles/orgpolicy.policyAdmin
) no recurso da organização -
Para criar ou atualizar um cluster do Dataproc:
Administrador do Dataproc ou Editor do Dataproc (
roles/dataproc.admin
ouroles/dataproc.editor
) do recurso do projeto
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Esses papéis predefinidos contêm as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para gerenciar as políticas da organização:
-
orgpolicy.constraints.list
-
orgpolicy.policies.create
-
orgpolicy.policies.delete
-
orgpolicy.policies.list
-
orgpolicy.policies.update
-
orgpolicy.policy.get
-
orgpolicy.policy.set
Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.
Criar uma restrição personalizada
Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos,
condições e ações a que ela é aplicada. O Dataproc oferece suporte a
restrições personalizadas que são aplicadas aos métodos CREATE
e UPDATE
do
recurso CLUSTER
. Consulte
Restrições do Dataproc em recursos e operações.
Para criar um arquivo YAML para uma restrição personalizada do Dataproc:
name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION
Substitua:
ORGANIZATION_ID
: o ID da organização, como123456789
.CONSTRAINT_NAME
: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar comcustom.
e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.dataprocEnableComponentGateway. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo,organizations/123456789/customConstraints/custom
).
METHOD
: ao criar uma restrição de criação de cluster, especifiqueCREATE
. Ao criar uma restriçãoUPDATE
do cluster, especifique-as como segue:methodTypes: - CREATE - UPDATE
CONDITION
: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1.000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo,"resource.config.endpointConfig.enableHttpPortAccess==true"
.ACTION
: a ação a ser realizada se ocondition
for atendido. Pode serALLOW
ouDENY
.DISPLAY_NAME
: um nome legível por humanos para o como "Aplicar a ativação do gateway de componentes do Dataproc". Esse campo tem um comprimento máximo de 200 caracteres.DESCRIPTION
: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Por exemplo, "Permitir a criação de clusters do Dataproc somente se o gateway de componentes estiver ativado". Esse campo tem um comprimento máximo de 2000 caracteres.
Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.
Configurar uma restrição personalizada
Depois de criar o arquivo YAML para uma nova restrição personalizada, configure-a para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comandogcloud org-policies set-custom-constraint
:
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
CONSTRAINT_PATH
pelo caminho completo
do arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml
.
Depois de concluídas, suas restrições personalizadas ficam disponíveis como políticas da organização
na lista de políticas da organização do Google Cloud.
Para verificar se a restrição personalizada existe, use o
comando gcloud org-policies list-custom-constraints
:
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
ORGANIZATION_ID
pelo ID do recurso da organização.
Para mais informações, consulte
Como visualizar as políticas da organização.
Aplicar uma restrição personalizada
Para aplicar uma restrição booleana, crie uma política da organização com referência a ela e aplique essa política da organização a um recurso do Google Cloud.Console
- No console do Google Cloud, acesse a página Políticas da organização.
- No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
- Na lista da página Políticas da organização, selecione a restrição para exibir. a página Detalhes da política dessa restrição.
- Para personalizar a política da organização nesse recurso, clique em Gerenciar política.
- Na página Editar política, selecione Substituir a política do editor principal.
- Clique em Adicionar uma regra.
- Na seção Aplicação, selecione se a aplicação da política da organização está ativado ou desativado.
- Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional. Caso contrário, não será possível salvar a política. Para mais informações, consulte Como definir uma política da organização com tags.
- Se essa for uma restrição personalizada, clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte Testar alterações na política da organização com o Simulador de política.
- Para concluir e aplicar a política da organização, clique em Definir política. A política leva até 15 minutos para entrar em vigor.
gcloud
Para criar uma política da organização que aplica uma restrição booleana, crie um arquivo YAML da política com referência à restrição:
name: projects/PROJECT_ID/policies/CONSTRAINT_NAME spec: rules: - enforce: true
Substitua:
-
PROJECT_ID
: o projeto em que você quer aplicar a restrição. -
CONSTRAINT_NAME
: o nome definido para a restrição personalizada. Por exemplo,custom.dataprocEnableComponentGateway
.
Para aplicar a política da organização que contém a restrição, execute o seguinte comando:
gcloud org-policies set-policy POLICY_PATH
Substitua POLICY_PATH
pelo caminho completo do arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.
Testar a restrição personalizada
O exemplo de criação de cluster a seguir pressupõe que uma política da organização personalizada foi
criada e aplicada na criação do cluster para exigir a ativação do
Component Gateway
(resource.config.endpointConfig.enableHttpPortAccess==true
).
gcloud dataproc clusters create example-cluster \
--project=PROJECT_ID \
--zone=COMPUTE_ZONE
Exemplo de saída (por padrão, o Gateway de componentes não é ativado quando um cluster do Dataproc é criado):
Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]
Restrições do Dataproc em recursos e operações
Os seguintes campos de restrição personalizada do Dataproc são disponíveis para uso ao criar ou atualizar um cluster do Dataproc. Ao atualizar um cluster, apenas as restrições relacionadas a parâmetros editáveis são aceitas. Consulte Como atualizar um cluster.
- Configuração de rede do Compute Engine (networkUri, internalIpOnly, serviceAccount e metadados)
resource.config.gceClusterConfig.networkUri
resource.config.gceClusterConfig.internalIpOnly
resource.config.gceClusterConfig.serviceAccount
resource.config.gceClusterConfig.metadata
- Configuração do grupo de instâncias do Compute Engine (imageUri e machineTypeUri)
resource.config.masterConfig.imageUri
resource.config.masterConfig.machineTypeUri
resource.config.workerConfig.imageUri
resource.config.workerConfig.machineTypeUri
resource.config.secondaryWorkerConfig.imageUri
resource.config.secondaryWorkerConfig.machineTypeUri
- Configuração de disco do grupo de instâncias do Compute Engine (bootDiskType, bootDiskSizeGb, numLocalSsds e localSsdInterface)
resource.config.masterConfig.diskConfig.bootDiskType
resource.config.workerConfig.diskConfig.bootDiskType
resource.config.secondaryWorkerConfig.diskConfig.bootDiskType
resource.config.masterConfig.diskConfig.bootDiskSizeGb
resource.config.workerConfig.diskConfig.bootDiskSizeGb
resource.config.secondaryWorkerConfig.diskConfig.bootDiskSizeGb
resource.config.masterConfig.diskConfig.numLocalSsds
resource.config.workerConfig.diskConfig.numLocalSsds
resource.config.secondaryWorkerConfig.diskConfig.numLocalSsds
resource.config.masterConfig.diskConfig.localSsdInterface
resource.config.workerConfig.diskConfig.localSsdInterface
resource.config.secondaryWorkerConfig.diskConfig.localSsdInterface
- Ações de inicialização (executableFile)
resource.config.initializationActions.executableFile
- Configuração de software (imageVersion, properties e optionalComponents)
resource.config.softwareConfig.imageVersion
resource.config.softwareConfig.properties
resource.config.softwareConfig.optionalComponents
- Configuração do Kerberos (enableKerberos e crossRealmTrustKdc)
resource.config.securityConfig.kerberosConfig.enableKerberos
resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
- Gateway de componentes (enableHttpPortAccess)
resource.config.endpointConfig.enableHttpPortAccess
- Configuração do metastore (dataprocMetastoreService)
resource.config.metastoreConfig.dataprocMetastoreService
- CMEK do disco permanente (gcePdKmsKeyName)
resource.config.encryptionConfig.gcePdKmsKeyName
- Marcadores de cluster
resource.labels
- Tamanho do cluster
resource.config.masterConfig.numInstances
resource.config.workerConfig.numInstances
resource.config.secondaryWorkerConfig.numInstances
- Escalonamento automático
resource.config.autoscalingConfig.policyUri
Exemplos de restrições personalizadas para casos de uso comuns
A tabela a seguir mostra exemplos de restrições personalizadas:
Descrição | Sintaxe de restrição |
---|---|
Restrinja o número de instâncias de worker do Dataproc a 10 ou menos quando um cluster for criado ou atualizado. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10" actionType: DENY displayName: Total number of worker instances cannot be larger than 10 description: Cluster cannot have more than 10 workers, including primary and secondary workers. |
Impeça que o mestre do aplicativo seja executado em workers preemptivos do cluster do Dataproc. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)" actionType: ALLOW displayName: Application master cannot run on preemptible workers description: Property "dataproc:am.primary_only" must be "true". |
Proibir propriedades personalizadas do Hive em clusters do Dataproc. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))" actionType: ALLOW displayName: Cluster cannot have custom Hive properties description: Only allow Dataproc cluster creation if no property starts with Hive prefix "hive:". |
Não permitir o uso do tipo de máquina n1-standard-2 para instâncias mestre do Dataproc. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')" actionType: DENY displayName: Master cannot use the n1-standard-2 machine type description: Prevent Dataproc cluster creation if the master machine type is n1-standard-2. |
Obriga o uso de um script de ação de inicialização especificado. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')" actionType: ALLOW displayName: Initialization action script "gs://some/init-action.sh" must be used description: Only allow Dataproc cluster creation if the "gs://some/init-action.sh" initialization action script is used. |
Imponha o uso de uma chave de criptografia de disco permanente especificada. |
name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'" actionType: ALLOW displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring. |
Aplicar restrições de rótulos de cluster. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE - UPDATE condition: "('env' in resource.labels) && (resource.labels.env=='test')" actionType: DENY displayName: Cluster cannot have the "env=test" label description: Deny Dataproc cluster creation or update if the cluster will be labeled "env=test". |
Imponha o uso de uma rede não padrão. |
name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork resourceTypes: - dataproc.googleapis.com/Cluster methodTypes: - CREATE condition: "resource.config.gceClusterConfig.networkUri.contains('networks/default')" actionType: DENY displayName: Cluster cannot be created in the default network description: Deny Dataproc cluster creation if the cluster will be created in the default network. |
A seguir
- Consulte Introdução ao serviço Política da organização para saber mais sobre as políticas da organização.
- Saiba mais sobre como criar e gerenciar políticas da organização.
- Veja a lista completa de restrições da política da organização predefinidas.