Criar perfis de dados do BigQuery em um único projeto

Nesta página, descrevemos como configurar a descoberta de dados do BigQuery no nível do projeto. Se você quiser criar um perfil para uma organização ou pasta, consulte Criar perfil de dados do BigQuery em uma organização ou pasta.

Para mais informações sobre o serviço de descoberta, consulte Perfis de dados.

Para começar a criar o perfil dos dados, crie uma configuração de verificação.

Antes de começar

1. Verifique se a API Cloud Data Loss Prevention está ativada no projeto:

   1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

   2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   3. Make sure that billing is enabled for your Google Cloud project.

   4. Enable the required API.

      Enable the API

   5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   6. Make sure that billing is enabled for your Google Cloud project.

   7. Enable the required API.

      Enable the API

2. Confirme se você tem as permissões do IAM necessárias para configurar os perfis de dados no nível do projeto.

3. Você precisa ter um modelo de inspeção em cada região em que há dados para criar um perfil. Se você quiser usar um único modelo para várias regiões, utilize um modelo armazenado na região global. Se as políticas organizacionais impedirem que você crie um modelo de inspeção global, defina um modelo de inspeção dedicado para cada região. Para mais informações, consulte Considerações sobre residência de dados.

   Essa tarefa permite criar um modelo de inspeção apenas na região global. Se você precisar de modelos de inspeção dedicados para uma ou mais regiões, crie esses modelos antes de executar esta tarefa.

4. É possível configurar a proteção de dados sensíveis para enviar notificações ao Pub/Sub quando determinados eventos ocorrerem, como quando a proteção de dados sensíveis criar um perfil de uma nova tabela. Se quiser usar esse recurso, é necessário criar um tópico do Pub/Sub.

Criar uma configuração de verificação

1. Acesse a página Criar configuração de verificação.

   Acessar "Criar configuração de verificação"

2. Acesse o projeto. Na barra de ferramentas, clique no seletor de projetos e selecione seu projeto.

As seções a seguir fornecem mais informações sobre as etapas na página Criar configuração de verificação. No final de cada seção, clique em Continuar.

Selecione um tipo de descoberta

Selecione BigQuery.

Selecionar escopo

Escolha uma destas opções:

• Se você quiser verificar uma única tabela no modo de teste, selecione Verificar uma tabela (modo de teste).

  O número de verificações de tabela gratuitas disponíveis é exibido. As verificações de tabela gratuitas se aplicam somente a tabelas com tamanho menor ou igual a 1 TB. Cada tabela pode ter apenas uma configuração de verificação. Para saber mais, consulte Criar perfil de uma tabela no modo de teste.

  Preencha os detalhes da tabela para a qual você quer criar um perfil.

• Se você quiser executar a criação de perfil padrão para envolvidos no projeto, selecione Verificar todo o projeto.

Gerenciar programações

Se a frequência padrão de criação de perfil atender às suas necessidades, pule esta seção da página Criar configuração de verificação. Esta seção é útil se você quiser fazer ajustes refinados na frequência de criação de perfil de todos os seus dados ou de determinados subconjuntos deles. Isso também será útil se você não quiser que determinadas tabelas tenham um perfil ou se você quiser que eles sejam criados apenas uma vez.

Nesta seção, você cria filtros para especificar determinados subconjuntos dos dados que são do seu interesse. Para esses subconjuntos, você define se a proteção de dados sensíveis precisa criar perfis para as tabelas e com que frequência. Aqui, você também especifica os tipos de alterações que farão com que uma tabela seja recriada. Por fim, especifique todas as condições que cada tabela nos subconjuntos precisa atender antes que a proteção de dados confidenciais inicie a criação de perfil da tabela.

Para fazer ajustes refinados na frequência de criação de perfil, siga estas etapas:

1. Clique em Adicionar programação.

2. Na seção Filtros, defina um ou mais filtros que especificam quais tabelas estão no escopo da programação.

   Especifique pelo menos uma das seguintes opções:

   • Um ID do projeto ou uma expressão regular que especifica um ou mais projetos.
   • Um ID do conjunto de dados ou uma expressão regular que especifica um ou mais conjuntos de dados.
   • Um ID de tabela ou uma expressão regular que especifica uma ou mais tabelas.

   As expressões regulares precisam seguir a sintaxe RE2.

   Por exemplo, se você quiser que todas as tabelas de um conjunto de dados sejam incluídas no filtro, especifique o ID desse conjunto e deixe os outros dois campos em branco.

   Se você quiser incluir mais filtros, clique em Adicionar filtro e repita essa etapa.

3. Clique em Frequência.

4. Na seção Frequência, especifique se a proteção de dados sensíveis precisa criar perfis para as tabelas definidas nos seus filtros e, em caso afirmativo, com que frequência:

   • Se você não quiser que as tabelas tenham um perfil, desative a opção Criar perfil das tabelas.

   • Se você quiser que as tabelas tenham um perfil pelo menos uma vez, ative a opção Criar perfil das tabelas.

     Nos campos seguintes desta seção, especifique se o sistema precisará criar um novo perfil dos dados e quais eventos devem acionar uma operação de recriação de perfil. Para mais informações, consulte Frequência de geração de perfil de dados.

     1. Em Quando o esquema é alterado, especifique com que frequência a proteção de dados sensíveis precisa verificar se as tabelas selecionadas tiveram mudanças de esquema após a última criação de perfil. Somente as tabelas com alterações de esquema serão recriadas.
     2. Em Tipos de mudança de esquema, especifique quais mudanças devem acionar uma operação de reformulação do perfil. Selecione uma das seguintes opções:
        • Novas colunas: recrie o perfil das tabelas que ganharam novas colunas.
        • Colunas removidas: crie um novo perfil das tabelas que tiveram colunas removidas.

        Por exemplo, suponha que você tem tabelas que ganham novas colunas todos os dias e precisa criar o perfil do conteúdo delas a cada vez. É possível definir Quando alterações no esquema como Gerar um novo perfil diariamente e definir Tipos de mudança de esquema como Novas colunas.

     3. Em Quando alterações na tabela, especifique com que frequência a Proteção de Dados Sensíveis precisa verificar se as tabelas selecionadas tiveram alguma alteração após a última criação de perfil. Somente as tabelas com alterações vão ter o perfil recriado. Exemplos de alterações de tabela são exclusões de linhas e alterações de esquema.

        Selecione um valor igual ou menos frequente que o definido no campo Quando o esquema é alterado.

     4. Em Ao inspecionar alterações no modelo, especifique se você quer que os dados recebam um novo perfil quando o modelo de inspeção associado for atualizado e, em caso afirmativo, com que frequência.
        Observação:você especifica os modelos de inspeção que serão usados na etapa Selecionar modelo de inspeção desta página.

        Uma mudança no modelo de inspeção é detectada nas seguintes situações:

        • O nome de um modelo de inspeção muda na configuração da verificação.
        • O updateTime de um modelo de inspeção é alterado.

     Por exemplo, se você definir um modelo de inspeção para a região us-west1 e atualizá-lo, somente os dados na região us-west1 terão um novo perfil. No entanto, se você excluir esse modelo, os dados em us-west1 não vão criar um novo perfil, porque não há modelo de inspeção para usar.

5. Clique em Condições.

6. Na seção Condições, especifique as condições que as tabelas, definidas nos filtros, precisam atender para que a Proteção de Dados Sensíveis crie o perfil delas. Se você definir condições mínimas e a condição de tempo, a Proteção de Dados Sensíveis vai criar perfis apenas para as tabelas que cumprirem os dois tipos de condições.

   • Condições mínimas: essas condições serão úteis se você quiser atrasar a criação de perfil de uma tabela até que ela tenha linhas suficientes ou até que ela atinja uma determinada idade. Ative as condições que você quer aplicar e especifique a contagem ou duração mínima de linhas.
   • Condição de tempo: essa condição será útil se você não quiser criar um perfil de tabelas antigas. Ative a condição de hora e escolha uma data e hora. Qualquer tabela criada nessa data ou antes dela será excluída da criação de perfil.

   Suponha que você tenha a seguinte configuração:

   • Condições mínimas

     • Contagem mínima de linhas: 10 linhas
     • Duração mínima: 24 horas

   • Condição de tempo

     • Carimbo de data/hora: 04/05/22, 23h59

   Nesse caso, a proteção de dados sensíveis exclui todas as tabelas criadas até 4 de maio de 2022, às 23h59. Entre as tabelas criadas após essa data e hora, a Proteção de Dados Sensíveis cria perfis de apenas as tabelas com 10 linhas ou com pelo menos 24 horas de existência.

7. Na seção Tabelas para criar o perfil, selecione uma das seguintes opções, dependendo dos tipos de tabelas para os quais você quer criar um perfil:

   • Criar perfil de todas as tabelas: selecione essa opção se você quiser que a Proteção de Dados Sensíveis crie o perfil de todos os tipos de tabelas que correspondem aos seus filtros e condições.

     Para os tipos de tabela que não têm suporte, a proteção de dados sensíveis gera apenas perfis parcialmente preenchidos. Esses perfis mostram erros que indicam que as tabelas a que pertencem não são compatíveis. Selecione essa opção se você quiser ver os perfis parciais, apesar das mensagens de erro.

     Quando a proteção de dados sensíveis adiciona suporte a um novo tipo de tabela, ela cria um novo perfil das tabelas desse tipo durante a próxima execução programada.

   • Criar perfil de tabelas compatíveis: selecione essa opção se você quiser que a proteção de dados sensíveis crie o perfil apenas das tabelas compatíveis que correspondam aos seus filtros e condições. Tabelas não suportadas não terão perfis parciais.

   • Criar perfis para tipos de tabela específicos: selecione essa opção se quiser que a Proteção de Dados Sensíveis crie o perfil apenas dos tipos de tabelas selecionados. Na lista exibida, selecione um ou mais tipos.

     Quando a proteção de dados sensíveis adiciona suporte a um novo tipo de tabela, ela não cria o perfil automaticamente das tabelas desse tipo. Para criar o perfil de tipos de tabela recém-aceitos, edite a configuração de verificação e selecione esses tipos.

   Se você não selecionar uma opção, a Proteção de Dados Sensíveis vai criar perfis apenas para as tabelas do BigQuery e mostrar erros de tabelas não suportadas.

   Os preços da criação de perfil de dados variam de acordo com os tipos de tabelas criadas. Para mais informações, consulte Preços da criação de perfil de dados.

8. Clique em Concluído.

9. Para adicionar mais programações, clique em Adicionar programação e repita as etapas anteriores.

10. Para reordenar as programações de acordo com a prioridade, use as setas para cima e para baixo. Por exemplo, se os filtros em duas programações diferentes corresponderem à Tabela A, a programação mais alta na lista de prioridade terá precedência.

    A última programação da lista é sempre a chamada Programação padrão. Essa programação padrão abrange as tabelas do projeto que não correspondem a nenhuma das programações criadas. Essa programação padrão segue a frequência padrão de criação de perfil do sistema.

11. Caso queira ajustar a programação padrão, clique em Editar programação e ajuste as configurações conforme necessário.

Selecionar modelo de inspeção

Dependendo de como você quer fornecer uma configuração de inspeção, escolha uma das opções a seguir. Seja qual for a opção escolhida, a proteção de dados sensíveis verifica os dados na região em que estão armazenados. Ou seja, os dados não saem da região de origem.

Opção 1: criar um modelo de inspeção

Escolha essa opção se quiser criar um novo modelo de inspeção na região global.

1. Clique em Criar novo modelo de inspeção.

2. Opcional: para modificar a seleção padrão de infoTypes, clique em Gerenciar infoTypes.

   Para mais informações sobre como gerenciar infoTypes integrados e personalizados nesta seção, consulte Gerenciar infoTypes no console do Google Cloud.

   É preciso ter pelo menos um infoType selecionado para continuar.

3. Opcional: configure o modelo de inspeção ainda mais adicionando conjuntos de regras e definindo um limite de confiança. Para mais informações, consulte Configurar detecção.

   Quando a proteção de dados sensíveis cria a configuração da verificação, ela armazena esse novo modelo de inspeção na região global.

Opção 2: usar um modelo de inspeção atual

Escolha essa opção se você tiver modelos de inspeção que quiser usar.

1. Clique em Selecionar modelo de inspeção existente.

2. Digite o nome completo do recurso do modelo de inspeção que você quer usar. O campo Região é preenchido automaticamente com o nome da região em que o modelo de inspeção está armazenado.

   O modelo de inspeção inserido precisa estar na mesma região que os dados para o perfil. Para respeitar a residência de dados, a Proteção de Dados Sensíveis não usa um modelo de inspeção fora da própria região.

   Para encontrar o nome completo do recurso de um modelo de inspeção, siga estas etapas:

   1. Acesse a lista de modelos de inspeção. Essa página é aberta em uma guia separada.

      Acessar modelos de inspeção

   2. Mude para o projeto que contém o modelo de inspeção que você quer usar.

   3. Na guia Modelos, clique no ID do modelo que você quer usar.

   4. Na página exibida, copie o nome completo do recurso do modelo. O nome completo do recurso segue este formato:

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID

   5. Na página Criar configuração de verificação, no campo Nome do modelo, cole o nome completo do recurso do modelo.

3. Se você tiver dados em outra região e quiser usar um modelo de inspeção, siga estas etapas:

   1. Clique em Adicionar modelo de inspeção.
   2. Insira o nome completo do recurso do modelo de inspeção.

   Repita essas etapas para cada região em que você tiver um modelo de inspeção dedicado.

4. Opcional: adicione um modelo de inspeção armazenado na região global. A proteção de dados sensíveis usa automaticamente esse modelo para dados em regiões em que você não tem um modelo de inspeção dedicado.

   Cuidado :se você não incluir um modelo de inspeção armazenado na região global, a Proteção de Dados Sensíveis não poderá criar perfis de dados em regiões que não tenham um modelo de inspeção dedicado. Para mais informações, consulte Considerações sobre residência de dados.

Adicionar ações

Nas seções a seguir, você vai especificar as ações que quer que a proteção de dados sensíveis realize depois de gerar os perfis de dados.

Para informações sobre como outros serviços do Google Cloud podem cobrar pela configuração de ações, consulte Preços para exportação de perfis de dados.

Publicar no Security Command Center

Essa ação permite enviar os níveis calculados de risco e sensibilidade de dados dos perfis de dados de tabela ao Security Command Center.

O Security Command Center é o serviço centralizado de vulnerabilidade e relatórios de ameaças do Google Cloud. É possível usar insights de perfis de dados ao fazer a triagem e desenvolver planos de resposta para suas descobertas de vulnerabilidade e ameaças no Security Command Center.

Antes de usar essa ação, o Security Command Center precisa estar ativado no nível da organização. Ativar o Security Command Center no nível da organização permite o fluxo de descobertas de serviços integrados, como a Proteção de Dados Sensíveis. A proteção de dados sensíveis funciona com o Security Command Center Standard e o Premium.

Se o Security Command Center não estiver ativado no nível da organização, as descobertas da proteção de dados sensíveis não aparecerão no Security Command Center. Para mais informações, consulte Verificar o nível de ativação do Security Command Center.

Para enviar os resultados dos seus perfis de dados para o Security Command Center, verifique se a opção Publicar no Security Command Center está ativada.

Para mais informações, consulte Publicar perfis de dados no Security Command Center.

Salvar cópias do perfil de dados no BigQuery

Ativar a opção Salvar cópias do perfil de dados no BigQuery permite manter uma cópia ou um histórico salvo de todos os perfis gerados. Isso pode ser útil para criar relatórios de auditoria e visualizar perfis de dados. Também é possível carregar essas informações em outros sistemas.

Além disso, essa opção permite que você veja todos os seus perfis de dados em uma única visualização, independentemente da região em que os dados residem. Se você desativar essa opção, ainda será possível visualizar os perfis de dados no seu painel. No entanto, no painel, você seleciona uma região por vez e vê apenas os perfis de dados dela.

Observação :quando a proteção de dados sensíveis não cria o perfil de uma tabela, ela tenta fazer uma nova tentativa periodicamente. Para minimizar o ruído nos dados exportados, a proteção de dados sensíveis exporta apenas os perfis gerados com êxito para o BigQuery. Ele pula as tabelas sem perfil.

Para exportar cópias dos perfis de dados para uma tabela do BigQuery, siga estas etapas:

1. Ative a opção Salvar cópias do perfil de dados no BigQuery.

2. Insira os detalhes da tabela do BigQuery em que você quer salvar os perfis de dados:

   • Em ID do projeto, insira o ID de um projeto atual para onde você quer que os perfis de dados sejam exportados.

   • Em ID do conjunto de dados, digite o nome de um conjunto de dados no projeto para onde você quer que os perfis de dados sejam exportados.

   • Em ID da tabela, insira um nome para a tabela do BigQuery em que os perfis de dados serão exportados. Se você não tiver criado essa tabela, a proteção de dados sensíveis vai criá-la automaticamente usando o nome fornecido.

A proteção de dados sensíveis começa a exportar perfis quando você ativa essa opção. Os perfis que foram gerados antes de você ativar a exportação não são salvos no BigQuery.

Observação : o agente de serviço associado ao projeto precisa ter acesso de gravação na tabela de saída.

Publicar no Pub/Sub

Ao ativar a opção Publicar no Pub/Sub, você pode realizar ações programáticas com base nos resultados de criação de perfil. Use as notificações do Pub/Sub para desenvolver um fluxo de trabalho para detectar e corrigir descobertas com risco ou confidencialidade de dados significativos.

Para enviar notificações a um tópico do Pub/Sub, siga estas etapas:

1. Ative a opção Publicar no Pub/Sub.

   Uma lista de opções será exibida. Cada opção descreve um evento que faz com que a proteção de dados sensíveis envie uma notificação ao Pub/Sub.

2. Selecione os eventos que acionarão uma notificação do Pub/Sub.

   Se você selecionar Enviar uma notificação do Pub/Sub sempre que um perfil for atualizado, a proteção de dados sensíveis vai enviar uma notificação quando houver uma mudança nas seguintes métricas no nível da tabela:

   • Risco de dados
   • Sensibilidade
   • InfoTypes previstos
   • Outros InfoTypes
   • Pública
   • Criptografia

3. Para cada evento selecionado, siga estas etapas:

   1. Digite o nome do tópico. Ele precisa estar no seguinte formato:

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Substitua:

      • PROJECT_ID: o ID do projeto associado ao tópico do Pub/Sub.
      • TOPIC_ID: o ID do tópico do Pub/Sub.

   2. Especifique se você quer incluir o perfil completo da tabela na notificação ou apenas o nome completo do recurso da tabela com o perfil criado.

   3. Defina os níveis mínimos de risco e confidencialidade de dados que precisam ser atendidos para que a Proteção de Dados Sensíveis envie uma notificação.

   4. Especifique se apenas uma ou ambas as condições de risco e confidencialidade de dados precisam ser atendidas. Por exemplo, se você escolher AND, o risco de dados e as condições de confidencialidade precisarão ser atendidos antes que a proteção de dados sensíveis envie uma notificação.

Observação : o agente de serviço associado ao projeto precisa ter acesso de publicação no tópico do Pub/Sub. Um exemplo de papel com acesso de publicação é o papel Publicador do Pub/Sub (roles/pubsub.publisher). Se houver problemas de configuração ou permissão com o tópico do Pub/Sub, a proteção de dados sensíveis tenta enviar a notificação do Pub/Sub novamente por até duas semanas. Depois de duas semanas, a notificação é descartada.

Enviar para o Dataplex como tags

Essa ação permite criar tags no Dataplex com base em insights de perfis de dados. Essa ação só é aplicada a perfis novos e atualizados. Os perfis atuais que não são atualizados não são enviados ao Dataplex.

O Dataplex é um serviço do Google Cloud que unifica dados distribuídos e automatiza o gerenciamento e a governança de dados deles. Quando você ativa essa ação, as tabelas para as quais você cria um perfil são marcadas automaticamente no Dataplex de acordo com os insights coletados dos perfis de dados. Em seguida, pesquise na organização e nos projetos tabelas com valores de tag específicos.

Para enviar os perfis de dados para o Dataplex, verifique se a opção Enviar ao Dataplex como tags está ativada.

Para mais informações, consulte Marcar tabelas no Dataplex com base em insights de perfis de dados.

Definir o local para armazenar a configuração

Clique na lista Local do recurso e selecione a região em que você quer armazenar essa configuração de verificação. Todas as configurações de verificação que você criar posteriormente também serão armazenadas nesse local.

O local em que você escolhe armazenar a configuração da verificação não afeta os dados a serem verificados. Além disso, não afeta onde os perfis de dados são armazenados. Os dados são verificados na mesma região em que estão armazenados. Para mais informações, consulte Considerações sobre residência de dados.

Observação: se você já tiver uma configuração de verificação, não será possível alterar o valor definido nesse campo. Todas as configurações de verificação são armazenadas no mesmo local. Para alterar o local de todas as configurações de verificação, é necessário excluí-las, recriá-las e armazená-las no novo local.

Revisar e criar

1. Para garantir que a criação de perfil não seja iniciada automaticamente depois de criar a configuração da verificação, selecione Criar verificação no modo pausado.

   Essa opção é útil nos seguintes casos:

   • Você optou por salvar os perfis de dados no BigQuery e quer garantir que o agente de serviço tenha acesso de gravação à tabela de saída.
   • Você configurou as notificações do Pub/Sub e quer conceder acesso de publicação ao agente de serviço.

2. Revise suas configurações e clique em Criar.

   A proteção de dados sensíveis cria a configuração da verificação e a adiciona à lista de configurações da verificação de descoberta.

Para consultar ou gerenciar suas configurações de verificação, consulte Gerenciar configurações de verificação.

Se o agente de serviço tiver os papéis necessários para acessar e criar o perfil dos dados, a proteção de dados sensíveis começará a verificar seus dados logo depois que você criar a configuração ou retomar uma configuração pausada. Caso contrário, a proteção de dados sensíveis vai mostrar um erro ao visualizar os detalhes de configuração da verificação.

Observação: aprimoramos regularmente o algoritmo de detecção. Se descobrirmos que sua organização ou projeto se beneficiaria de uma nova melhoria que implementamos, poderemos gerar novamente os perfis de dados automaticamente e refazer as ações na configuração de verificação. Não haverá cobranças da Proteção de Dados Sensíveis para essa operação. No entanto, como vamos refazer as ações, poderá haver cobranças pelo uso de outros serviços do Google Cloud. Por exemplo, se você configurou a proteção de dados sensíveis para salvar os perfis de dados no BigQuery, isso poderá gerar cobranças.

A seguir

Saiba como estimar o custo da criação de perfil de dados em um único projeto.

Saiba como acessar os perfis de dados.

Saiba como gerenciar configurações de verificação.

Saiba como receber e analisar mensagens do Pub/Sub publicadas pelo Data Profiler.

Saiba como resolver problemas com perfis de dados.