Gerenciar recursos do Dataflow usando restrições personalizadas

A política da organização do Google Cloud oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de limites chamado restrições que se aplicam aos recursos do Google Cloud e aos descendentes desses recursos na Hierarquia de recursos do Google Cloud. É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.

A política da organização fornece restrições predefinidas para vários serviços do Google Cloud. No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também políticas da organização personalizadas.

Benefícios

É possível usar uma política da organização personalizada para permitir ou negar a criação de jobs do Dataflow com condições baseadas em atributos de recursos com suporte, como nome, tipo e opções de serviços.

Herança de políticas

Por padrão, as políticas da organização são herdadas pelos descendentes dos recursos em que a política é aplicada. Por exemplo, se você aplicar uma política em uma pasta, o Google Cloud aplicará a política a todos os projetos da pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação da hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Limitações

  • As restrições personalizadas para recursos Job do Cloud Storage só podem ser configuradas usando o console do Google Cloud ou a CLI do Google Cloud.

  • As restrições personalizadas só podem ser aplicadas no método CREATE para recursos Job do Dataflow.

  • As restrições personalizadas recém-aplicadas não se aplicam aos recursos atuais.

Antes de começar

Para mais informações sobre o que são políticas e restrições da organização e como elas funcionam, consulte Introdução ao serviço de políticas da organização.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar as políticas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar um arquivo YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

  • ORGANIZATION_ID: o ID da organização, como 123456789.

  • CONSTRAINT_NAME: o nome da sua nova restrição personalizada. Uma restrição personalizada precisa começar com custom., e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.denyPrimeJobs. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).

  • RESOURCE_NAME: o nome (não o URI) do recurso REST da API Dataflow que contém o objeto e o campo que você quer restringir. Por exemplo, Job.

  • CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo tem um comprimento máximo de 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravar condições. Por exemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: a ação a ser realizada se o condition for atendido. Os valores com suporte são ALLOW e DENY.

  • DISPLAY_NAME: um nome legível para a restrição. Esse campo tem um comprimento máximo de 200 caracteres.

  • DESCRIPTION: uma descrição legível da restrição a ser exibida como uma mensagem de erro quando a política for violada. Esse campo tem um comprimento máximo de 2000 caracteres.

Para mais informações sobre como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Depois de criar o arquivo YAML para uma nova restrição personalizada, configure-a para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Substitua CONSTRAINT_PATH pelo caminho completo do arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na sua lista de políticas da organização do Google Cloud. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar as políticas da organização.

Aplicar uma política da organização personalizada

Para aplicar uma restrição booleana, crie uma política da organização com referência a ela e depois aplique essa política da organização a um recurso do Google Cloud.

Console

  1. No console do Google Cloud, acesse a página Políticas da organização.

    Acessar as políticas da organização

  2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
  3. Na lista da página Políticas da organização, selecione a restrição para acessar a página Detalhes da política dela.
  4. Para personalizar a política da organização nesse recurso, clique em Gerenciar política.
  5. Na página Editar política, selecione Substituir a política do editor principal.
  6. Clique em Adicionar uma regra.
  7. Na seção Aplicação, selecione se a aplicação dessa política da organização está ativada ou desativada.
  8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional. Caso contrário, não será possível salvar a política. Para mais informações, consulte Como configurar uma política da organização com tags.
  9. Se essa for uma restrição personalizada, clique em Testar alterações para simular o efeito da política da organização. Para mais informações, consulte Testar alterações na política da organização com o Simulador de política.
  10. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

gcloud

Para criar uma política da organização que aplica uma restrição booleana, crie um arquivo YAML da política com referência à restrição: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Substitua:

  • PROJECT_ID: o projeto em que você quer aplicar a restrição.
  • CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyPrimeJobs.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando: 

    gcloud org-policies set-policy POLICY_PATH

Substitua POLICY_PATH pelo caminho completo do arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Exemplo: criar uma restrição para negar a criação de um job com o Prime ativado

gcloud

  1. Crie um arquivo de restrição denyPrimeJobs.yaml com as seguintes informações. Substitua ORGANIZATION_ID pelo ID da organização.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Defina a restrição personalizada.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crie um arquivo de política enforce-policy-denyPrimeJobs.yaml com a seguinte informação. Neste exemplo, a restrição é aplicada no nível do projeto. Também é possível definir essa restrição no nível da organização ou da pasta. Substitua PROJECT_ID pelo ID do projeto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Aplique a política executando o comando a seguir. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Para testar a restrição, tente criar um job do Dataflow com a opção enable_prime. Siga o guia de início rápido Criar um pipeline do Dataflow usando Java para criar um job de contagem de palavras.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    A resposta será semelhante a:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    O registro de auditoria mostra os detalhes da violação da seguinte forma: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campos de expressão para condições

A tabela a seguir contém os campos de expressão que podem ser usados para criar condições. As condições são escritas no Common Expression Language (CEL). O valor dos campos de expressão diferencia maiúsculas de minúsculas.

Para descrições dos campos de expressão a seguir e quais valores é possível especificar, consulte a representação JSON Job do Dataflow.

Campo de expressão Tipo de valor
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Exemplos de casos de uso

Confira alguns exemplos de casos de uso na tabela a seguir.

Caso de uso Ação Restrição personalizada
Não permitir o uso de trabalho principal NEGAR resource.environment.serviceOptions.exists(value, value=='enable_prime')
Evita que as VMs aceitem chaves SSH armazenadas nos metadados do projeto. NEGAR !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Não permitir jobs sem definir o número máximo de segundos que o job pode executar NEGAR !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

A seguir