Gerenciar recursos do Dataproc usando restrições personalizadas

A política da organização do Google Cloud oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de limites chamado restrições que se aplicam aos recursos do Google Cloud e aos descendentes desses recursos na Hierarquia de recursos do Google Cloud. É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.

A política da organização fornece restrições predefinidas para vários serviços do Google Cloud. No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também restrições personalizadas e use-as em uma política da organização.

Benefícios

É possível usar uma política da organização personalizada para permitir ou negar operações específicas nos clusters do Dataproc. Por exemplo, se uma solicitação para criar ou atualizar um cluster não atender à validação de restrição personalizada, conforme definido pela política da organização, a solicitação falhará e um erro será retornado ao autor da chamada.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, o Google Cloud aplicará a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Antes de começar

  1. Configurar seu projeto
    1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

    2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

      Acessar o seletor de projetos

    3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

    4. Ative a API Dataproc.

      Ative a API

    5. Instale a CLI do Google Cloud.

    6. Para inicializar a CLI gcloud, execute o seguinte comando: 

      gcloud init
      7.

    7. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

      Acessar o seletor de projetos

    8. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

    9. Ative a API Dataproc.

      Ative a API

    10. Instale a CLI do Google Cloud.

    11. Para inicializar a CLI gcloud, execute o seguinte comando: 

      gcloud init
      12.
    12. Certifique-se de conhecer o ID da organização.

Funções exigidas

Para receber as permissões necessárias para gerenciar as políticas da organização, peça ao administrador para conceder a você os seguintes papéis do IAM:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Talvez você também consiga receber essas permissões com papéis personalizados ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações aos quais é aplicada. O Dataproc é compatível com restrições personalizadas aplicadas aos métodos CREATE e UPDATE do recurso CLUSTER. Consulte Restrições do Dataproc em recursos e operações.

Para criar um arquivo YAML para uma restrição personalizada do Dataproc:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataproc.googleapis.com/Cluster
methodTypes:
- METHOD
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

  • ORGANIZATION_ID: o ID da organização, como 123456789.

  • CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.dataprocEnableComponentGateway. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo, por exemplo, organizations/123456789/customConstraints/custom.

  • METHOD: ao criar uma restrição de criação de cluster, especifique CREATE. Ao criar uma restrição UPDATE do cluster, especifique as duas da seguinte maneira: 
    methodTypes:
- CREATE
- UPDATE

  • CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1.000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo, "resource.config.endpointConfig.enableHttpPortAccess==true".

  • ACTION: a ação a ser realizada se o condition for atendido. Pode ser ALLOW ou DENY.

  • DISPLAY_NAME: um nome legível para a restrição, por exemplo, "Aplicar a ativação do gateway de componentes do Dataproc". Esse campo tem um comprimento máximo de 200 caracteres.

  • DESCRIPTION: uma descrição legível da restrição de ser mostrada como uma mensagem de erro quando a política é violada. Por exemplo, "Permitir a criação de clusters do Dataproc apenas se o Gateway de componentes estiver ativado". Esse campo tem um comprimento máximo de 2000 caracteres.

Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Depois de criar uma nova restrição personalizada usando a Google Cloud CLI, configure-a para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
Substitua CONSTRAINT_PATH pelo caminho completo do arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis na sua lista de políticas da organização do Google Cloud. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma restrição personalizada

Para aplicar uma restrição booleana, crie uma política da organização com referência a ela e aplique essa política da organização a um recurso do Google Cloud.

Console

Para aplicar uma restrição booleana:

  1. No console do Google Cloud, acesse a página Políticas da organização.

    Acessar as políticas da organização

  2. Selecione o seletor de projetos na parte superior da página.
  3. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
  4. Selecione a restrição na lista da página Políticas da organização. A página Detalhes da política dessa restrição será exibida.
  5. Para personalizar a política da organização nesse recurso, clique em Gerenciar política.
  6. Na página Editar política, selecione Substituir a política do editor principal.
  7. Clique em Adicionar uma regra.
  8. Em Aplicação, selecione se a aplicação dessa política da organização precisa ser ativada ou desativada.
  9. Para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional. Caso contrário, não será possível salvar a política. Para mais detalhes, consulte Como definir uma política da organização com tags.
  10. Se essa for uma restrição personalizada, clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte Testar alterações na política da organização com o Simulador de política.
  11. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

gcloud

Para criar uma política da organização que aplica uma restrição booleana, crie um arquivo YAML da política com referência à restrição: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Substitua:

  • PROJECT_ID: o projeto em que você quer aplicar a restrição.
  • CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.dataprocEnableComponentGateway.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando: 

    gcloud org-policies set-policy POLICY_PATH

Substitua POLICY_PATH pelo caminho completo do arquivo YAML da política da organização. A política levará até 15 minutos para entrar em vigor.

Testar a restrição personalizada

O exemplo de criação de cluster a seguir pressupõe que uma política da organização personalizada foi criada e aplicada na criação do cluster para exigir a ativação do Gateway de componentes (resource.config.endpointConfig.enableHttpPortAccess==true).

gcloud dataproc clusters create example-cluster \
    --project=PROJECT_ID \
    --zone=COMPUTE_ZONE

Exemplo de saída (por padrão, o Gateway de componentes não é ativado quando um cluster do Dataproc é criado):

Operation denied by custom org policies: ["customConstraints/custom.dataprocEnableComponentGateway": "Only allow Dataproc cluster creation if the Component Gateway is enabled"]

Restrições do Dataproc em recursos e operações

Os campos de restrição personalizados do Dataproc a seguir estão disponíveis para uso quando você cria ou atualiza um cluster do Dataproc. Observe que, ao atualizar um cluster, somente as restrições relacionadas aos parâmetros de cluster editáveis são aceitas. Consulte Como atualizar um cluster.

  • Configuração de rede do Compute Engine (networkUri, internalIpOnly, serviceAccount e metadados)
    • resource.config.gceClusterConfig.networkUri
    • resource.config.gceClusterConfig.internalIpOnly
    • resource.config.gceClusterConfig.serviceAccount
    • resource.config.gceClusterConfig.metadata
  • Configuração do grupo de instâncias do Compute Engine (imageUri e machineTypeUri)
    • resource.config.masterConfig.imageUri
    • resource.config.masterConfig.machineTypeUri
    • resource.config.workerConfig.imageUri
    • resource.config.workerConfig.machineTypeUri
    • resource.config.secondaryWorkerConfig.imageUri
    • resource.config.secondaryWorkerConfig.machineTypeUri
  • Ações de inicialização (executávelFile)
    • resource.config.initializationActions.executableFile
  • Configuração de software (imageVersion, propriedades e opcionalComponents)
    • resource.config.softwareConfig.imageVersion
    • resource.config.softwareConfig.properties
    • resource.config.softwareConfig.optionalComponents
  • Configuração do Kerberos (enableKerberos e crossRealmTrustKdc)
    • resource.config.securityConfig.kerberosConfig.enableKerberos
    • resource.config.securityConfig.kerberosConfig.crossRealmTrustKdc
  • Gateway de componente (enableHttpPortAccess)
    • resource.config.endpointConfig.enableHttpPortAccess
  • Configuração do Metastore (dataprocMetastoreService)
    • resource.config.metastoreConfig.dataprocMetastoreService
  • CMEK do disco permanente (gcePdKmsKeyName)
    • resource.config.encryptionConfig.gcePdKmsKeyName
  • Marcadores de cluster
    • resource.labels
  • Tamanho do cluster
    • resource.config.masterConfig.numInstances
    • resource.config.workerConfig.numInstances
    • resource.config.secondaryWorkerConfig.numInstances
  • Escalonamento automático
    • resource.config.autoscalingConfig.policyUri

Exemplos de restrições personalizadas para casos de uso comuns

A tabela a seguir mostra exemplos de restrições personalizadas:

Descrição Sintaxe de restrição
Restrinja o número de instâncias de worker do Dataproc a 10 ou menos quando um cluster for criado ou atualizado. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoMoreThan10Workers
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.config.workerConfig.numInstances + resource.config.secondaryWorkerConfig.numInstances > 10"
    actionType: DENY
    displayName: Total number of worker instances cannot be larger than 10
    description: Cluster cannot have more than 10 workers, including primary and
    secondary workers.
Impeça que o mestre do aplicativo seja executado nos workers preemptivos do cluster do Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocAmPrimaryOnlyEnforced
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "('dataproc:am.primary_only' in resource.config.softwareConfig.properties) && (resource.config.softwareConfig.properties['dataproc:am.primary_only']==true)"
    actionType: ALLOW
    displayName: Application master cannot run on preemptible workers
    description: Property "dataproc:am.primary_only" must be "true".
Proibir propriedades personalizadas do Hive em clusters do Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoCustomHiveProperties
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.softwareConfig.properties.all(p, !p.startsWith('hive:'))"
    actionType: ALLOW
    displayName: Cluster cannot have custom Hive properties
    description: Only allow Dataproc cluster creation if no property
    starts with Hive prefix "hive:".
Não permitir o uso do tipo de máquina n1-standard-2 para instâncias mestre do Dataproc. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocMasterMachineType
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.masterConfig.machineTypeUri.contains('n1-standard-2')"
    actionType: DENY
    displayName: Master cannot use the n1-standard-2 machine type
    description:  Prevent Dataproc cluster creation if the master machine type is n1-standard-2.
Imponha o uso de um script de ação de inicialização especificado. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocInitActionScript
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.initializationActions.exists(action, action.executableFile=='gs://some/init-action.sh')"
    actionType: ALLOW
    displayName: Initialization action script "gs://some/init-action.sh" must be used
    description:  Only allow Dataproc cluster creation if the "gs://some/init-action.sh".
    initialization action script is used.
Imponha o uso de uma chave de criptografia de disco permanente especificada. 

    name: organizations/ORGANIZATION_ID/custom.dataprocPdCmek
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition: "resource.config.encryptionConfig.gcePdKmsKeyName == 'projects/project-id/locations/global/keyRings/key-ring-name/cryptoKeys/key-name'"
    actionType: ALLOW
    displayName: Cluster PD must be encrypted with "key-name" from "key-ring-name" key-ring
    description: Only allow Dataproc cluster creation if the PD is encrypted with "key-name" from "key-ring-name" key-ring.
Aplique restrições de marcadores de cluster. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocEnvLabel
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    - UPDATE
    condition:  "('env' in resource.labels) && (resource.labels.env=='test')"
    actionType: DENY
    displayName: Cluster cannot have the "env=test" label
    description:  Deny Dataproc cluster creation or update if the cluster will be labeled "env=test".
Imponha o uso de uma rede não padrão. 

    name: organizations/ORGANIZATION_ID/customConstraints/custom.dataprocNoDefaultNetwork
    resourceTypes:
    - dataproc.googleapis.com/Cluster
    methodTypes:
    - CREATE
    condition:  "resource.config.gceClusterConfig.networkUri.contains('networks/default')"
    actionType: DENY
    displayName: Cluster cannot be created in the default network
    description:  Deny Dataproc cluster creation if the cluster will be created in the default network.

A seguir