Gerenciar recursos do BigQuery usando restrições personalizadas

Pré-lançamento

Este produto ou recurso está sujeito aos Termos das Soluções Pré-GA na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Você encontra mais detalhes nas descrições das fases de lançamento.

Nesta página, mostramos como usar restrições personalizadas do serviço de políticas da organização para restringir operações específicas nos seguintes recursos do Google Cloud :

• bigquery.googleapis.com/Dataset

Para saber mais sobre políticas da organização, consulte Políticas personalizadas da organização.

Sobre políticas da organização e restrições

O serviço de políticas da organização do Google Cloud oferece controle centralizado e programático sobre os recursos da sua organização. Um administrador de políticas da organização pode definir políticas da organização, ou seja, conjuntos de restrições que se aplicam aos recursos doGoogle Cloud e aos elementos que descendem dele na hierarquia de recursos doGoogle Cloud . É possível aplicar políticas da organização no nível da organização, de pastas ou de projetos.

Uma política da organização oferece restrições gerenciadas e integradas para vários serviços do Google Cloud . No entanto, para ter controle mais granular e personalizável sobre os campos específicos restritos nas políticas da organização, também é possível criar restrições personalizadas e usá-las nessas políticas.

Herança de políticas

As políticas da organização são herdadas por padrão pelos elementos que descendem dos recursos em que elas são aplicadas. Por exemplo, se você aplicar uma política a uma pasta, o Google Cloud vai aplicá-la todos os projetos dessa pasta. Para saber mais sobre esse comportamento e como alterá-lo, consulte Regras de avaliação de hierarquia.

Limitações

• PolicyViolationInfo não é publicado nos registros de auditoria do BigQuery quando o acesso é negado devido a restrições personalizadas. A mensagem de erro fornece o constraintId que negou a operação.

Antes de começar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a gcloud CLI, execute o seguinte comando:

gcloud init

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Install the Google Cloud CLI.

Ao usar um provedor de identidade (IdP) externo, primeiro faça login na gcloud CLI com sua identidade federada.

Para inicializar a gcloud CLI, execute o seguinte comando:

gcloud init

1. Verifique qual é o ID da organização.

Funções exigidas

Para conseguir as permissões necessárias para gerenciar políticas da organização, peça ao administrador para conceder a você os seguintes papéis do IAM:

• Administrador de políticas da organização (roles/orgpolicy.policyAdmin) no recurso da organização
• Para criar ou atualizar um conjunto de dados do BigQuery: Administrador ou editor do BigQuery (roles/bigquery.admin ou roles/bigquery.editor) no recurso do projeto

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para gerenciar políticas da organizações. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As permissões a seguir são necessárias para gerenciar as políticas da organização:

• orgpolicy.* no recurso da organização
• Para criar ou atualizar um conjunto de dados do BigQuery:
  • bigquery.datasets.create no recurso do projeto
  • bigquery.datasets.get no recurso do projeto
  • bigquery.datasets.list no recurso do projeto
  • bigquery.datasets.update no recurso do projeto

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Criar uma restrição personalizada

Uma restrição personalizada é definida em um arquivo YAML pelos recursos, métodos, condições e ações compatíveis com o serviço em que você está aplicando a política da organização. As condições das restrições personalizadas são definidas usando a Common Expression Language (CEL). Para saber como criar condições em restrições personalizadas usando a CEL, consulte a seção CEL em Como criar e gerenciar restrições personalizadas.

Para criar uma restrição personalizada, crie um arquivo YAML com o seguinte formato:

name: organizations/ORGANIZATION_ID/customConstraints/CONSTRAINT_NAME
resourceTypes:
- RESOURCE_NAME
methodTypes:
- CREATE
- UPDATE
condition: "CONDITION"
actionType: ACTION
displayName: DISPLAY_NAME
description: DESCRIPTION

Substitua:

• ORGANIZATION_ID: o ID da organização, como 123456789.

• CONSTRAINT_NAME: o nome da nova restrição personalizada. Uma restrição personalizada precisa começar com custom. e só pode incluir letras maiúsculas, minúsculas ou números. Por exemplo, custom.enforceDatasetId. Esse campo pode ter no máximo 70 caracteres.

• RESOURCE_NAME: o nome totalmente qualificado do recurso doGoogle Cloud que contém o objeto e o campo que você quer restringir. Por exemplo, bigquery.googleapis.com/Dataset.

• CONDITION: uma condição de CEL gravada em uma representação de um recurso de serviço compatível. Esse campo pode ter no máximo 1000 caracteres. Consulte Recursos compatíveis para mais informações sobre os recursos disponíveis para gravação de condições. Por exemplo, "datasetReference.datasetId.startsWith('test')".

• ACTION: a ação a ser realizada ao atender a condition. Os valores possíveis são ALLOW e DENY.

• DISPLAY_NAME: um nome legível para a restrição. Esse campo pode ter no máximo 200 caracteres.

• DESCRIPTION: uma descrição legível da restrição a ser exibida como mensagem de erro quando a política é violada. Esse campo pode ter no máximo 2000 caracteres.

Para saber como criar uma restrição personalizada, consulte Como definir restrições personalizadas.

Configurar uma restrição personalizada

Depois de criar o arquivo YAML para uma nova restrição personalizada, faça a configuração necessária para disponibilizá-la para as políticas da organização. Para configurar uma restrição personalizada, use o comando gcloud org-policies set-custom-constraint:

gcloud org-policies set-custom-constraint CONSTRAINT_PATH

Substitua CONSTRAINT_PATH pelo caminho completo para o arquivo da restrição personalizada. Por exemplo, /home/user/customconstraint.yaml. Após a conclusão, as restrições personalizadas vão estar disponíveis como políticas da organização na lista de políticas da organização do Google Cloud . Para verificar a existência da restrição personalizada, use o comando gcloud org-policies list-custom-constraints:

gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID

Substitua ORGANIZATION_ID pelo ID do recurso da organização. Para mais informações, consulte Como visualizar políticas da organização.

Aplicar uma política personalizada da organização

Para aplicar uma restrição, crie uma política da organização que faça referência a ela e aplique essa política a um recurso do Google Cloud .

Console

1. No console do Google Cloud , acesse a página Políticas da organização.

   Acessar a página Políticas da organização

2. No seletor de projetos, selecione o projeto em que você quer definir a política da organização.
3. Na lista da página Políticas da organização, selecione uma restrição para acessar a página Detalhes da política associada.
4. Para configurar a política da organização nesse recurso, clique em Gerenciar política.
5. Na página Editar política, selecione Substituir a política do recurso pai.
6. Clique em Adicionar regra.
7. Na seção Aplicação, escolha entre ativar ou desativar a aplicação dessa política da organização.
8. Opcional: para tornar a política da organização condicional em uma tag, clique em Adicionar condição. Se você adicionar uma regra condicional a uma política da organização, inclua pelo menos uma regra não condicional para que a política seja salva. Para mais informações, consulte Como configurar uma política da organização com tags.
9. Clique em Testar mudanças para simular o efeito da política da organização. A simulação da política não está disponível para restrições gerenciadas legadas. Para mais informações, consulte Testar mudanças na política da organização com o Simulador de política.
10. Para concluir e aplicar a política da organização, clique em Definir política. A política levará até 15 minutos para entrar em vigor.

gcloud

Para criar uma política da organização com regras booleanas, crie um arquivo YAML para a política que faça referência à restrição:

      name: projects/PROJECT_ID/policies/CONSTRAINT_NAME
      spec:
        rules:
        - enforce: true
    

Substitua:

• PROJECT_ID: o projeto em que você quer aplicar a restrição.
• CONSTRAINT_NAME: o nome definido para a restrição personalizada. Por exemplo, custom.enforceDatasetId.

Para aplicar a política da organização que contém a restrição, execute o seguinte comando:

    gcloud org-policies set-policy POLICY_PATH
    

Substitua POLICY_PATH pelo caminho completo para o arquivo YAML da política da organização. A política leva até 15 minutos para entrar em vigor.

Testar a política personalizada da organização

O exemplo a seguir cria uma restrição e política personalizada que proíbe que todos os novos IDs de conjunto de dados em um projeto específico comecem com test.

Antes de começar, você precisa ter o seguinte:

• O código da sua organização.
• Um ID do projeto

Crie a restrição.

Para criar uma restrição personalizada, siga estas etapas:

1. Crie o seguinte arquivo YAML e salve-o como constraint-enforce-datasetId.yaml:

   name: organizations/ORGANIZATION_ID/customConstraints/custom.enforceDatasetId
   resourceTypes:
   - bigquery.googleapis.com/Dataset
   methodTypes:
   - CREATE
   condition: "datasetReference.datasetId.startsWith('test')"
   actionType: DENY
   displayName: Reject test datasets
   description: All new datasets can't begin with 'test'.
   

   SubstituaORGANIZATION_ID pelo ID da organização.

   Isso define uma restrição em que, para cada novo conjunto de dados, se o ID começar com test, a operação será negada.

2. Aplique a restrição:

   gcloud org-policies set-custom-constraint ~/constraint-enforce-datasetId
   

3. Verifique se a restrição existe:

   gcloud org-policies list-custom-constraints --organization=ORGANIZATION_ID
   

   O resultado será assim:

   CUSTOM_CONSTRAINT                       ACTION_TYPE  METHOD_TYPES   RESOURCE_TYPES                     DISPLAY_NAME
   custom.enforceDatasetId                 DENY         CREATE         bigquery.googleapis.com/Dataset    Reject test datasets
   ...
   

Crie a política

Agora crie uma política e aplique-a à restrição personalizada que você criou.

1. Salve o seguinte arquivo como policy-enforce-datasetId.yaml:

   name: projects/PROJECT_ID/policies/custom.enforceDatasetId
   spec:
     rules:
     - enforce: true
   

   Substitua PROJECT_ID pela ID do seu projeto.

2. Aplique a política:

   gcloud org-policies set-policy ~/policy-enforce-datasetId.yaml
   

3. Verifique se a política existe:

   gcloud org-policies list --project=PROJECT_ID
   

   O resultado será assim:

   CONSTRAINT                  LIST_POLICY    BOOLEAN_POLICY    ETAG
   custom.enforceDatasetId     -              SET               COCsm5QGENiXi2E=
   

Depois de aplicar a política, aguarde cerca de dois minutos para que o Google Cloud comece a aplicar a política.

Testar a política

Tente criar um conjunto de dados do BigQuery no projeto:

bq --location=US mk -d \
    --default_table_expiration 3600 \
    --description "This is my dataset." \
    testdataset

A saída é esta:

Operation denied by custom org policies: ["customConstraints/custom.enforceDatasetId": "All new datasets can't begin with 'test'."]

Recursos compatíveis com o BigQuery

A tabela a seguir lista os recursos do BigQuery que podem ser referenciados em restrições personalizadas.

Recurso	Campo
bigquery.googleapis.com/Dataset	resource.datasetReference.datasetId
	resource.defaultCollation
	resource.defaultEncryptionConfiguration.kmsKeyName
	resource.defaultPartitionExpirationMs
	resource.defaultRoundingMode
	resource.defaultTableExpirationMs
	resource.description
	resource.externalCatalogDatasetOptions.defaultStorageLocationUri
	resource.externalCatalogDatasetOptions.parameters
	resource.externalDatasetReference.connection
	resource.externalDatasetReference.externalSource
	resource.friendlyName
	resource.isCaseInsensitive
	resource.linkedDatasetSource.sourceDataset.datasetId
	resource.location
	resource.maxTimeTravelHours
	resource.storageBillingModel

A seguir

• Saiba como atualizar as propriedades do conjunto de dados.
• Saiba mais sobre o Serviço de políticas da organização.
• Saiba como criar e gerenciar políticas da organização.
• Confira a lista completa de restrições de política da organização gerenciadas.