Gerenciar recursos de linhagem de dados usando restrições personalizadas

Nesta página, mostramos como usar restrições personalizadas da política da organização para restringir operações específicas em recursos de linhagem de dados.

AGoogle Cloud política da organização oferece controle centralizado e programático sobre os recursos da sua organização. Como administrador de políticas da organização, é possível definir uma política da organização, que é um conjunto de restrições chamado restrições que se aplicam aos recursos doGoogle Cloud e aos elementos que descendem dele na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, da pasta ou para envolvidos no projeto.

A política da organização fornece restrições predefinidas para vários serviços do Google Cloud . No entanto, se você quiser um controle mais granular e personalizável sobre os campos específicos restritos nas suas políticas da organização, crie também políticas da organização personalizadas.

Vantagens

É possível usar uma política da organização personalizada para permitir ou negar a criação de processos de linhagem de dados com condições baseadas em atributos de recursos compatíveis, como nome do processo, tipo de origem e origem.

Herança de políticas

As políticas da organização são herdadas por padrão pelos elementos que descendem dos recursos em que elas são aplicadas. Por exemplo, se você aplicar uma política a uma pasta, o Google Cloud vai aplicá-la todos os projetos dessa pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Preços

O Organization Policy Service, incluindo políticas predefinidas e personalizadas, é oferecido sem custos financeiros.

Limitações

  • As restrições personalizadas só podem ser aplicadas aos recursos de linhagem de dados Process. Outros recursos, como Runs e Events, não são compatíveis.

  • As restrições personalizadas recém-aplicadas não se aplicam aos recursos atuais.

Antes de começar

  • Certifique-se de conhecer o ID da organização.

  • Se você quiser testar políticas da organização personalizadas que se referem a recursos de linhagem de dados, crie um novo projeto. Testar essas políticas da organização em um projeto atual pode interromper os fluxos de trabalho de segurança.

    1. Ensure that you have the Project Creator IAM role (roles/resourcemanager.projectCreator). Learn how to grant roles.

    2. In the Google Cloud console, go to the project selector page.

      Go to project selector

    3. Click Create project.

    4. Name your project. Make a note of your generated project ID.

    5. Edit the other fields as needed.

    6. Click Create.

Funções exigidas

Para receber as permissões necessárias a fim de gerenciar as políticas da organização, peça ao administrador para conceder a você o papel do IAM de Administrador de políticas da organização (roles/orgpolicy.policyAdmin) na organização. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esse papel predefinido contém as permissões necessárias para gerenciar as políticas da organização. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

  • orgpolicy.constraints.list
  • orgpolicy.policies.create
  • orgpolicy.policies.delete
  • orgpolicy.policies.list
  • orgpolicy.policies.update
  • orgpolicy.policy.get
  • orgpolicy.policy.set

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para mais informações sobre como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL de Como criar e gerenciar restrições personalizadas.

Para criar um arquivo YAML para uma restrição personalizada:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- datalineage.googleapis.com/RESOURCE_TYPE
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

  • ORGANIZATION_ID: o ID da organização, como 123456789.

  • CONSTRAINT_NAME: o nome da nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números, por exemplo, custom.denyLineageProcess. O tamanho máximo desse campo é de 70 caracteres, sem contar o prefixo (por exemplo, organizations/123456789/customConstraints/custom).

  • RESOURCE_TYPE: o nome (não o URI) do recurso REST da API Data Lineage que contém o objeto e o campo que você quer restringir. Para linhagem de dados, apenas Process está disponível.

  • CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode ter no máximo 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravação de condições. Por exemplo, "resource.name.contains('invalid_name')".

  • ACTION: a ação a ser realizada se o condition for atendido. Pode ser ALLOW ou DENY.

  • DISPLAY_NAME: um nome legível para a restrição. Esse campo pode ter no máximo 200 caracteres.

  • DESCRIPTION: uma descrição legível da restrição a ser exibida como mensagem de erro quando a política é violada. Esse campo pode ter no máximo 2000 caracteres.

Para saber como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Depois de criar o arquivo YAML para uma nova restrição personalizada, faça a configuração necessária para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint: 
gcloud org-policies set-custom-constraint CONSTRAINT_PATH
 Substitua CONSTRAINT_PATH pelo caminho completo para o arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na lista de políticas da organização do Google Cloud . Para verificar a existência da restrição personalizada, use o comando gcloud org-policies list-custom-constraints: 
gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
 Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma política personalizada da organização

Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso do Google Cloud .

Console

  1. No console do Google Cloud , acesse a página Políticas da organização.

    Acessar a página Políticas da organização

  2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
  3. Na lista da página Políticas da organização, selecione uma restrição para acessar a página Detalhes da política associada.
  4. Para configurar a política da organização nesse recurso, clique em Gerenciar política.
  5. Na página Editar política, selecione Substituir a política do recurso pai.
  6. Clique em Adicionar regra.
  7. Na seção Aplicação, escolha entre ativar ou desativar a aplicação dessa política da organização.
  8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional para que a política seja salva. Para mais informações, consulte Como configurar uma política da organização com tags.
  9. Clique em Testar mudanças para simular o efeito da política da organização. A simulação da política não está disponível para restrições gerenciadas legadas. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
  10. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

gcloud

Para criar uma política da organização com regras booleanas, crie um arquivo YAML para a política que faça referência à restrição: 

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true

Substitua:

  • PROJECT_ID: o projeto em que você quer aplicar a restrição.
  • CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.denyLineageProcess.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando: 

    gcloud org-policies set-policy POLICY_PATH

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Testar a política personalizada da organização

Esta seção descreve como testar uma restrição de política da organização que impede os usuários de criar um processo de linhagem de dados com um nome que contenha o texto invalid_name.

Se você quiser testar essa restrição personalizada, faça o seguinte:

  1. Crie um projeto, conforme descrito na seção Antes de começar.

  2. Copie a seguinte restrição para um arquivo YAML:

      name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcess
  resourceTypes: datalineage.googleapis.com/Process
  methodTypes:
    - CREATE
    - UPDATE
  condition:
    "resource.name.contains('invalid_name')"
  actionType: DENY
  displayName: Do not allow data lineage process with 'invalid_name' to be created.

    Substitua ORGANIZATION_ID pelo ID numérico da sua Google Cloud organização.

  3. Configure a restrição personalizada e aplique ao projeto que você criou para testar a restrição da política da organização personalizada.

  4. Crie um processo com o nome que você incluiu na restrição personalizada.

    curl -s -X POST -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application.json" \
"https://datalineage.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/processes" \
-d '{"name":"projects/PROJECT_ID/locations/LOCATION/processes/invalid_name"}'

    Substitua:

    • PROJECT_ID: ID do projeto em que o processo é criado. Ele precisa estar na mesma organização em que a restrição foi definida.
    • LOCATION: Google Cloud região em que o processo é criado.

    A saída é esta:

    Operation denied by org policy on resource 'projects/PROJECT_ID/locations/LOCATION': ["customConstraints/custom.denyLineageProcess"]

Recursos e operações com suporte da linhagem de dados

Os seguintes campos de restrição personalizada estão disponíveis para uso ao criar ou atualizar um processo de linhagem de dados:

  • resource.name
  • resource.displayName
  • resource.origin.name
  • resource.origin.sourceType

As restrições personalizadas são verificadas para os seguintes métodos:

Exemplos de políticas personalizadas da organização para casos de uso comuns

A tabela a seguir mostra a sintaxe de algumas restrições personalizadas para casos de uso comuns:

Para mais informações sobre as macros da CEL disponíveis para uso em condições de restrição personalizadas, consulte Common Expression Language.

Caso de uso Sintaxe da restrição
Desativar a criação de processos de linhagem de dados 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "True"
    actionType: DENY
    displayName: Deny creation of all data lineage processes.
Desativar a criação de processos de linhagem de dados pelo BigQuery ou Dataproc 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    condition: "resource.origin.sourceType == 'BIGQUERY' || resource.origin.sourceType == 'DATAPROC'"
    actionType: DENY
    displayName: Deny data lineage processes created by BigQuery or Dataproc.
Desativar processos de linhagem de dados com o nome especificado 
    name: organizations/ORGANIZATION_ID/customConstraints/custom.denyLineageProcessesCreation
    resourceTypes:
    - datalineage.googleapis.com/Process
    methodTypes:
    - CREATE
    - UPDATE
    condition: "resource.name.contains('RESTRICTED_NAME')"
    actionType: DENY
    displayName: Deny data lineage processes whose name contains RESTRICTED_NAME.

A seguir