Faça a gestão de recursos do Dataflow através de restrições personalizadas

Google Cloud A política da organização dá-lhe um controlo centralizado e programático sobre os recursos da sua organização. Enquanto administrador de políticas da organização, pode definir uma política da organização, que é um conjunto de restrições denominadas restrições que se aplicam aGoogle Cloud recursos e descendentes desses recursos na hierarquia de recursos da Google Cloud Platform. Pode aplicar políticas da organização ao nível da organização, da pasta ou do projeto.

A política da organização oferece restrições predefinidas para vários Google Cloud serviços. No entanto, se quiser um controlo mais detalhado e personalizável sobre os campos específicos que estão restritos nas políticas da sua organização, também pode criar políticas da organização personalizadas.

Vantagens

Pode usar uma política de organização personalizada para permitir ou negar a criação de tarefas do Dataflow com condições baseadas em atributos de recursos suportados, como o nome, o tipo e as opções de serviço da tarefa.

Herança de políticas

Por predefinição, as políticas da organização são herdadas pelos descendentes dos recursos nos quais aplica a política. Por exemplo, se aplicar uma política a uma pasta, Google Cloud aplica a política a todos os projetos na pasta. Para saber mais acerca deste comportamento e como o alterar, consulte as regras de avaliação da hierarquia.

Preços

O serviço de políticas da organização, incluindo políticas da organização predefinidas e personalizadas, é oferecido sem custo financeiro.

Limitações

  • As restrições personalizadas para recursos do Dataflow Job só podem ser configuradas através da Google Cloud consola ou da CLI do Google Cloud.

  • As restrições personalizadas só podem ser aplicadas no método CREATE para recursos do Dataflow Job.

  • As restrições personalizadas aplicadas recentemente não se aplicam aos recursos existentes.

Antes de começar

Para mais informações sobre o que são as políticas e as restrições da organização e como funcionam, consulte a Introdução ao serviço de políticas da organização.

Funções necessárias

Para receber as autorizações de que precisa para gerir políticas de organização, peça ao seu administrador que lhe conceda a função de IAM de administrador de políticas de organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém as autorizações necessárias para gerir políticas da organização. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

São necessárias as seguintes autorizações para gerir políticas da organização:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Crie uma restrição personalizada

Uma restrição personalizada é definida num ficheiro YAML pelos recursos, métodos, condições e ações suportados pelo serviço no qual está a aplicar a política da organização. As condições para as restrições personalizadas são definidas através do Idioma de expressão comum (IEC). Para mais informações sobre como criar condições em restrições personalizadas através da CEL, consulte a secção CEL do artigo Criar e gerir restrições personalizadas.

Para criar um ficheiro YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- dataflow.googleapis.com/RESOURCE_NAME
methodTypes:
- CREATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua o seguinte:

  • ORGANIZATION_ID: o ID da sua organização, como 123456789.

  • CONSTRAINT_NAME: o nome que quer para a nova restrição personalizada. Uma restrição personalizada tem de começar por custom. e só pode incluir letras maiúsculas, letras minúsculas ou números. Por exemplo, custom.denyPrimeJobs. O comprimento máximo deste campo é de 70 carateres, sem contar com o prefixo. Por exemplo, organizations/123456789/customConstraints/custom.

  • RESOURCE_NAME: o nome (não o URI) do recurso REST da API Dataflow que contém o objeto e o campo que quer restringir. Por exemplo, Job.

  • CONDITION: uma condição CEL escrita em função de uma representação de um recurso de serviço suportado. Este campo tem um comprimento máximo de 1000 carateres. Consulte o artigo Recursos suportados para mais informações sobre os recursos disponíveis para escrever condições. Por exemplo, "resource.environment.serviceOptions.exists(value, value=='enable_prime')".

  • ACTION: a ação a tomar se a condição condition for cumprida. Os valores suportados são ALLOW e DENY.

  • DISPLAY_NAME: um nome simples para a restrição. Este campo tem um comprimento máximo de 200 carateres.

  • DESCRIPTION: uma descrição acessível da restrição a apresentar como uma mensagem de erro quando a política é violada. Este campo tem um comprimento máximo de 2000 carateres.

Para mais informações sobre como criar uma restrição personalizada, consulte o artigo Definir restrições personalizadas.

Configure uma restrição personalizada

Depois de criar o ficheiro YAML para uma nova restrição personalizada, tem de o configurar para o disponibilizar para as políticas da organização na sua organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Substitua CONSTRAINT_PATH pelo caminho completo para o seu ficheiro de restrições personalizado. Por exemplo, /home/user/customconstraint.yaml. Depois de concluídas, as restrições personalizadas ficam disponíveis como políticas da organização na sua lista de políticas da organização do Google Cloud Platform. Para verificar se a restrição personalizada existe, use o comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Substitua ORGANIZATION_ID pelo ID do recurso da sua organização. Para mais informações, consulte o artigo Ver políticas da organização.

Aplique uma política da organização personalizada

Pode aplicar uma restrição criando uma política de organização que a referencie e, em seguida, aplicando essa política de organização a um recurso da Google Cloud Platform.

Consola

  1. Na Google Cloud consola, aceda à página Políticas de organização.

    Aceda às políticas da organização

  2. No seletor de projetos, selecione o projeto para o qual quer definir a política de organização.
  3. Na lista da página Políticas da organização, selecione a restrição para ver a página Detalhes da política dessa restrição.
  4. Para configurar a política da organização para este recurso, clique em Gerir política.
  5. Na página Editar política, selecione Substituir política do elemento principal.
  6. Clique em Adicionar regra.
  7. Na secção Aplicação, selecione se a aplicação desta política organizacional está ativada ou desativada.
  8. Opcional: para tornar a política de organização condicional a uma etiqueta, clique em Adicionar condição. Tenha em atenção que, se adicionar uma regra condicional a uma política da organização, tem de adicionar, pelo menos, uma regra incondicional. Caso contrário, não é possível guardar a política. Para mais informações, consulte o artigo Definir uma política de organização com etiquetas.
  9. Clique em Testar alterações para simular o efeito da política da organização. A simulação de políticas não está disponível para restrições geridas antigas. Para mais informações, consulte o artigo Teste as alterações à política da organização com o simulador de políticas.
  10. Para concluir e aplicar a política da organização, clique em Definir política. A política demora até 15 minutos a entrar em vigor.

gcloud

Para criar uma política da organização com regras booleanas, crie um ficheiro YAML de política que faça referência à restrição: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Substitua o seguinte:

  • PROJECT_ID: o projeto no qual quer aplicar a restrição.
  • CONSTRAINT_NAME: o nome que definiu para a restrição personalizada. Por exemplo, custom.denyPrimeJobs.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando: 

    gcloud org-policies set-policy POLICY_PATH

Substitua POLICY_PATH pelo caminho completo para o ficheiro YAML da política da organização. A política demora até 15 minutos a entrar em vigor.

Exemplo: crie uma restrição para recusar a criação de uma tarefa com o Prime ativado

gcloud

  1. Crie um ficheiro de restrições denyPrimeJobs.yaml com as seguintes informações. Substitua ORGANIZATION_ID pelo ID da sua organização.

    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyPrimeJobs
resource_types: dataflow.googleapis.com/Job
condition: "resource.environment.serviceOptions.exists(value, value=='enable_prime')"
action_type: DENY
method_types: CREATE
display_name: Restrict creation of job with prime enabled
description: Deny creation of jobs with prime enabled.

  2. Defina a restrição personalizada.

    gcloud org-policies set-custom-constraint denyPrimeJobs.yaml

  3. Crie um ficheiro de políticas enforce-policy-denyPrimeJobs.yaml com as seguintes informações. Neste exemplo, a restrição é aplicada ao nível do projeto. Também pode definir esta restrição ao nível da organização ou da pasta. Substitua PROJECT_ID pelo ID do seu projeto.

          name: projects/PROJECT_ID/policies/custom.denyPrimeJobs
      spec:
        rules:
        – enforce: true

  4. Aplique a política executando o seguinte comando. 

    gcloud org-policies set-policy enforce-policy-denyPrimeJobs.yaml

  5. Para testar a restrição, experimente criar uma tarefa do Dataflow com a opção enable_prime. Siga o início rápido Crie um pipeline do Dataflow com Java para criar uma tarefa WordCount.

    mvn -Pdataflow-runner compile \
exec:java \
-Dexec.mainClass=org.apache.beam.examples.WordCount \
-Dexec.args="--project=PROJECT_ID \
--gcpTempLocation=gs://BUCKET_NAME/temp/ \
--output=gs://BUCKET_NAME/output \
--runner=DataflowRunner \
--region=us-central1 \
--dataflowServiceOptions=enable_prime" \
-Pdataflow-runner

    O resultado é semelhante ao seguinte exemplo:

    "details" : [ {
  "@type" : "type.googleapis.com/google.rpc.ErrorInfo",
  "reason" : "CUSTOM_ORG_POLICY_VIOLATION"
}]

    O registo de auditoria deve mostrar detalhes da violação, como os seguintes: 

      policyViolationInfo: {
    orgPolicyViolationInfo: {
    violationInfo: [
    0: {
      constraint: "customConstraints/custom.denyPrimeJobs"
      errorMessage: "Restrict creation of job with prime enabled"
      policyType: "CUSTOM_CONSTRAINT"
    }]}}

Campos de expressão para condições

A tabela seguinte contém os campos de expressão que pode usar para criar condições. As condições são escritas no Idioma de expressão comum (IEC). O valor dos campos de expressão é sensível a maiúsculas e minúsculas.

Para ver descrições dos seguintes campos de expressão e que valores pode especificar, consulte a representação JSON do JobDataflow.

Campo de expressão Tipo de valor
name string
type string
transformNameMapping map
location string
environment message
environment.serviceOptions list of string
environment.serviceKmsKeyName string
environment.serviceAccountEmail string
environment.workerRegion string
environment.workerZone string
environment.streamingMode string
environment.debugOptions message
environment.debugOptions.enableHotKeyLogging bool

Exemplos de utilização

Alguns exemplos de utilização são apresentados na tabela seguinte.

Exemplo de utilização Ação Custom Constraint
Não permitir a utilização da tarefa principal RECUSAR resource.environment.serviceOptions.exists(value, value=='enable_prime')
Impede que as VMs aceitem chaves SSH armazenadas nos metadados do projeto. RECUSAR !resource.environment.serviceOptions.exists(value, value=='block_project_ssh_keys')
Não permitir tarefas sem definir o número máximo de segundos que a tarefa pode ser executada RECUSAR !resource.environment.serviceOptions.exists(value, value.contains('max_workflow_runtime_walltime_seconds=')

O que se segue?