Criar perfis de dados do BigQuery em uma organização ou pasta

Esta página descreve como configurar a descoberta de dados do BigQuery no nível de uma organização ou pasta. Se você quiser criar um perfil de um projeto, consulte Criar um perfil de dados do BigQuery em um único projeto.

Para mais informações sobre o serviço de descoberta, consulte Perfis de dados.

Para começar a criar perfis de dados, crie uma configuração de verificação.

Antes de começar

  1. Confirme se você tem as permissões do IAM necessárias para configurar perfis de dados no nível da organização.

    Se você não tiver o papel de administrador da organização (roles/resourcemanager.organizationAdmin) ou de administrador de segurança (roles/iam.securityAdmin), ainda poderá criar uma configuração de verificação. No entanto, depois de criar a configuração de verificação, alguém com uma dessas funções precisa conceder acesso de criação de perfil de dados ao agente de serviço.

  2. É necessário ter um modelo de inspeção em cada região com dados para criar o perfil. Se você quiser usar um único modelo para várias regiões, use um modelo armazenado na região global. Se as políticas organizacionais impedirem a criação de um modelo de inspeção na região global, você precisará definir um modelo de inspeção dedicado para cada região. Para mais informações, consulte Considerações sobre a residência de dados.

    Esta tarefa permite criar um modelo de inspeção apenas na região global. Se você precisar de modelos de inspeção dedicados para uma ou mais regiões, crie esses modelos antes de realizar esta tarefa.

  3. Para enviar notificações do Pub/Sub a um tópico quando determinados eventos ocorrem, como quando a Proteção de dados sensíveis cria um perfil de uma nova tabela, crie um tópico do Pub/Sub antes de realizar essa tarefa.

  4. É possível configurar a Proteção de dados sensíveis para anexar tags automaticamente aos seus recursos. Esse recurso permite conceder acesso condicional a esses recursos com base nos níveis de sensibilidade calculados. Se você quiser usar esse recurso, primeiro conclua as tarefas em Controlar o acesso do IAM a recursos com base na sensibilidade de dados.

Para gerar perfis de dados, você precisa de um contêiner de agente de serviço e um agente de serviço dentro dele. Essa tarefa permite criar esses recursos automaticamente.

Criar uma configuração de verificação

  1. Acesse a página Criar configuração de verificação.

    Acessar "Criar configuração de verificação"

  2. Acesse sua organização. Na barra de ferramentas, clique no seletor de projetos e selecione sua organização.

As seções a seguir fornecem mais informações sobre as etapas na página Criar configuração de verificação. No final de cada seção, clique em Continuar.

Selecione um tipo de descoberta

Selecione BigQuery.

Selecionar escopo

Escolha uma destas opções:

  • Para configurar o perfil no nível da organização, selecione Verificar toda a organização.
  • Para configurar o perfil no nível de uma pasta, selecione Verificar a pasta selecionada. Clique em Procurar e selecione a pasta.

Gerenciar programações

Se a frequência de criação de perfil padrão atender às suas necessidades, pule esta seção da página Criar configuração de verificação.

Configure esta seção pelas seguintes razões:

  • Para fazer ajustes detalhados na frequência de criação de perfis de todos os seus dados ou de determinados subconjuntos.
  • Para especificar as tabelas que você não quer criar um perfil.
  • Para especificar as tabelas que você não quer que tenham perfis mais de uma vez.

Para fazer ajustes detalhados na frequência de criação de perfil, siga estas etapas:

  1. Clique em Adicionar programação.

  2. Na seção Filtros, você define um ou mais filtros que especificam quais tabelas estão no escopo da programação.

    Especifique pelo menos uma das seguintes opções:

    • Um ID do projeto ou uma expressão regular que especifica um ou mais projetos
    • Um ID ou uma expressão regular que especifica um ou mais conjuntos de dados
    • Um ID de tabela ou uma expressão regular que especifica uma ou mais tabelas

    As expressões regulares precisam seguir a sintaxe RE2.

    Por exemplo, se você quiser que todas as tabelas de um projeto sejam incluídas no filtro, especifique o ID desse projeto e deixe os outros dois campos em branco.

    Se quiser adicionar mais filtros, clique em Adicionar filtro e repita esta etapa.

  3. Clique em Frequência.

  4. Na seção Frequência, especifique se a Proteção de Dados Sensíveis precisa criar o perfil das tabelas definidas nos filtros e, em caso afirmativo, com que frequência:

    • Se você não quiser que os perfis sejam criados, desative a opção Criar perfil das tabelas.

    • Se você quiser que o perfil seja criado pelo menos uma vez, deixe a opção Criar perfil das tabelas ativada.

      Nos campos seguintes desta seção, você especifica se o sistema precisa criar um novo perfil dos seus dados e quais eventos precisam acionar uma operação de reprofile. Para mais informações, consulte Frequência de geração de perfil de dados.

      1. Em Quando o esquema muda, especifique com que frequência a Proteção de dados sensíveis precisa verificar se as tabelas selecionadas tiveram mudanças de esquema após o último perfil. Somente as tabelas com alterações de esquema vão ter o perfil recriado.
      2. Em Tipos de alteração de esquema, especifique quais tipos de alterações de esquema devem acionar uma operação de reprofile. Selecione uma das seguintes opções:
        • Novas colunas: reestruture as tabelas que ganharam novas colunas.
        • Colunas removidas: redefina o perfil das tabelas que tiveram colunas removidas.

        Por exemplo, suponha que você tenha tabelas que ganham novas colunas todos os dias e precisa criar um perfil do conteúdo delas sempre. É possível definir Quando o esquema muda como Recriar perfil diariamente e Tipos de mudança de esquema como Novas colunas.

      3. Em Quando a tabela muda, especifique com que frequência a proteção de dados sensíveis precisa verificar se as tabelas selecionadas tiveram alterações depois do último perfil. Somente as tabelas com alterações serão reformuladas. Exemplos de mudanças de tabela são exclusões de linha e mudanças de esquema.

        Selecione um valor igual ou menos frequente do que o definido no campo Quando o esquema muda.

      4. Em Quando o modelo de inspeção muda, especifique se você quer que seus dados sejam reformulados quando o modelo de inspeção associado for atualizado e, se sim, com que frequência.

        Uma mudança no modelo de inspeção é detectada quando ocorre uma das seguintes situações:

        • O nome de um modelo de inspeção muda na configuração da verificação.
        • O updateTime de um modelo de inspeção muda.

        5. Por exemplo, se você definir um modelo de inspeção para a região us-west1 e atualizar esse modelo de inspeção, apenas os dados na região us-west1 serão reformulados.

  5. Clique em Condições.

  6. Na seção Condições, especifique as condições que as tabelas, definidas nos filtros, precisam atender antes que a Proteção de dados sensíveis as crie. Se você definir condições mínimas e a condição de tempo, a Proteção de Dados Sensíveis vai criar perfis apenas para as tabelas que atenderem aos dois tipos de condições.

    • Condições mínimas: essas condições são úteis se você quiser atrasar o perfil de uma tabela até que ela tenha linhas suficientes ou atinja uma determinada idade. Ative as condições que você quer aplicar e especifique a contagem mínima de linhas ou a duração.
    • Condição de tempo: essa condição é útil se você não quiser que tabelas antigas sejam sempre perfiladas. Ative a condição de horário e escolha uma data e hora. Qualquer tabela criada nessa data ou antes dela é excluída do perfil.

    Exemplos de condições

    Suponha que você tenha a seguinte configuração:

    • Condições mínimas

      • Contagem mínima de linhas: 10
      • Duração mínima: 24 horas

    • Condição de tempo

      • Carimbo de data/hora: 4/5/2022, 23h59

    Nesse caso, a Proteção de dados sensíveis exclui todas as tabelas criadas em ou antes de 4 de maio de 2022, 23h59. Entre as tabelas criadas após essa data e hora, a Proteção de Dados Sensíveis cria perfis apenas das tabelas que têm 10 linhas ou têm pelo menos 24 horas.

  7. Na seção Tabelas para gerar perfil, selecione uma das seguintes opções, dependendo dos tipos de tabelas que você quer gerar perfil:

    • Criar perfil de todas as tabelas: selecione essa opção se quiser que a proteção de dados sensíveis crie perfis de todos os tipos de tabelas que correspondem aos seus filtros e condições.

      Para tipos de tabelas sem suporte, a Proteção de Dados Sensíveis gera apenas perfis parcialmente preenchidos. Esses perfis mostram erros indicando que as tabelas a que pertencem não têm suporte. Selecione essa opção se você quiser ver os perfis parciais, apesar das mensagens de erro.

      Quando a Proteção de Dados Sensíveis adiciona suporte a um novo tipo de tabela, ela recria o perfil das tabelas desse tipo durante a próxima execução programada.

    • Criar perfil de tabelas com suporte: selecione essa opção se quiser que a Proteção de Dados Sensíveis crie perfis apenas das tabelas com suporte que correspondem aos seus filtros e condições. Tabelas sem suporte não têm perfis parciais.

    • Criar perfil de tipos de tabela específicos: selecione essa opção se quiser que a Proteção de dados sensíveis crie perfil apenas dos tipos de tabelas que você selecionar. Na lista que aparece, selecione um ou mais tipos.

      Quando a Proteção de Dados Sensíveis adiciona suporte a um novo tipo de tabela, ela não cria automaticamente o perfil de tabelas desse tipo. Para criar perfis de novos tipos de tabelas com suporte, edite a configuração de verificação e selecione esses tipos.

    Se você não selecionar uma opção, os perfis da Proteção de dados confidenciais vão ser aplicados apenas às tabelas do BigQuery e mostrar erros nas tabelas sem suporte.

    Os preços para o perfil de dados variam de acordo com os tipos de tabelas com perfil. Para mais informações, consulte Preços da criação de perfil de dados.

  8. Clique em Concluído.

  9. Se você quiser adicionar mais programações, clique em Adicionar programação e repita as etapas anteriores.

  10. Para especificar a precedência entre as programações, reordene-as usando as setas para cima e para baixo .

    A ordem das programações especifica como os conflitos entre elas são resolvidos. Se uma tabela corresponder aos filtros de duas programações diferentes, a programação mais alta na lista de programações vai determinar a frequência de criação de perfil para essa tabela.

    O último horário na lista é sempre o identificado como Programação padrão. Essa programação padrão abrange as tabelas no escopo selecionado que não correspondem a nenhuma das programações criadas. Essa programação padrão segue a frequência padrão de criação de perfis do sistema.

  11. Se você quiser ajustar a programação padrão, clique em Editar programação e ajuste as configurações conforme necessário.

Selecionar modelo de inspeção

Dependendo de como você quer fornecer uma configuração de inspeção, escolha uma das seguintes opções. Independentemente da opção escolhida, a Proteção de dados sensíveis verifica os dados na região em que eles estão armazenados. Ou seja, seus dados não saem da região de origem.

Opção 1: criar um modelo de inspeção

Escolha essa opção se quiser criar um novo modelo de inspeção na região global.

  1. Clique em Criar novo modelo de inspeção.

  2. Opcional: para modificar a seleção padrão de infoTypes, clique em Gerenciar infoTypes.

    Para mais informações sobre como gerenciar infoTypes integrados e personalizados, consulte Gerenciar infoTypes pelo console do Google Cloud.

    É preciso selecionar pelo menos um infoType para continuar.

  3. Opcional: configure o modelo de inspeção ainda mais adicionando conjuntos de regras e definindo um limite de confiança. Para mais informações, consulte Configurar detecção.

Quando a Proteção de dados sensíveis cria a configuração de verificação, ela armazena esse novo modelo de inspeção na região global.

Opção 2: usar um modelo de inspeção existente

Escolha essa opção se você tiver modelos de inspeção que quer usar.

  1. Clique em Selecionar modelo de inspeção existente.
  2. Insira o nome completo do recurso do modelo de inspeção que você quer usar. O campo Região é preenchido automaticamente com o nome da região em que o modelo de inspeção está armazenado.

    O modelo de inspeção inserido precisa estar na mesma região dos dados que vão receber o perfil.

    Para respeitar a residência de dados, a Proteção de dados sensíveis não usa um modelo de inspeção fora da região em que ele está armazenado.

    Para encontrar o nome completo do recurso de um modelo de inspeção, siga estas etapas:

    1. Acesse a lista de modelos de inspeção. Essa página é aberta em uma guia separada.

      Acessar modelos de inspeção

    2. Alterne para o projeto que contém o modelo de inspeção que você quer usar.
    3. Na guia Modelos, clique no ID do modelo que você quer usar.
    4. Na página exibida, copie o nome completo do recurso do modelo. O nome completo do recurso segue este formato: 
      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Na página Criar configuração de verificação, no campo Nome do modelo, cole o nome completo do recurso do modelo.
  3. Para adicionar um modelo de inspeção para outra região, clique em Adicionar modelo de inspeção e insira o nome completo do recurso. Repita isso para cada região em que você tem um modelo de inspeção dedicado.
  4. Opcional: adicione um modelo de inspeção armazenado na região global. A Proteção de dados sensíveis usa automaticamente esse modelo para dados em regiões em que você não tem um modelo de inspeção dedicado.

Adicionar ações

Nas próximas seções, você especifica as ações que quer que a Proteção de dados sensíveis realize depois de gerar os perfis de dados.

Para informações sobre como outros serviços do Google Cloud podem cobrar por ações de configuração, consulte Preços para exportar perfis de dados.

Publicar no Google Security Operations

As métricas coletadas com base nos perfis de dados podem adicionar contexto às descobertas do Google Security Operations. O contexto adicional pode ajudar a determinar os problemas de segurança mais importantes a serem resolvidos.

Por exemplo, se você estiver investigando um agente de serviço específico, o Google Security Operations poderá determinar quais recursos o agente de serviço acessou e se algum desses recursos tinha dados de alta sensibilidade.

Para enviar os perfis de dados à instância do Google Security Operations, ative o Google Security Operations.

Se você não tiver uma instância do Google Security Operations ativada para sua organização (pelo produto independente ou pelo Security Command Center Enterprise), ativar essa opção não terá efeito.

Publicar no Security Command Center

As descobertas dos perfis de dados fornecem contexto ao fazer a triagem e desenvolver planos de resposta para suas descobertas de vulnerabilidade e ameaças no Security Command Center.

Antes de usar essa ação, o Security Command Center precisa ser ativado no nível da organização. Ativar o Security Command Center no nível da organização ativa o fluxo de descobertas de serviços integrados, como a Proteção de dados sensíveis. A Proteção de Dados Sensíveis funciona com o Security Command Center em todos os níveis de serviço.

Se o Security Command Center não estiver ativado no nível da organização, as descobertas da proteção de dados confidenciais não vão aparecer no Security Command Center. Para mais informações, consulte Verificar o nível de ativação do Security Command Center.

Para enviar os resultados dos perfis de dados para o Security Command Center, verifique se a opção Publicar no Security Command Center está ativada.

Para mais informações, consulte Publicar perfis de dados no Security Command Center.

Salvar cópias do perfil de dados no BigQuery

Ativar a opção Salvar cópias do perfil de dados no BigQuery permite manter uma cópia salva ou o histórico de todos os perfis gerados. Isso pode ser útil para criar relatórios de auditoria e visualizar perfis de dados. Também é possível carregar essas informações em outros sistemas.

Além disso, essa opção permite ver todos os perfis de dados em uma única visualização, independentemente da região dos dados. Se você desativar essa opção, ainda poderá acessar os perfis de dados no console do Google Cloud. No console do Google Cloud, você seleciona uma região por vez e vê apenas os perfis de dados dela.

Para exportar cópias dos perfis de dados para uma tabela do BigQuery, siga estas etapas:

  1. Ative a opção Salvar cópias do perfil de dados no BigQuery.

  2. Insira os detalhes da tabela do BigQuery em que você quer salvar os perfis de dados:

    • Em ID do projeto, insira o ID de um projeto para o qual você quer exportar os perfis de dados.

    • Em ID do conjunto de dados, insira o nome de um conjunto de dados no projeto para onde você quer exportar os perfis de dados.

    • Em ID da tabela, insira um nome para a tabela do BigQuery para onde os perfis de dados serão exportados. Se você não tiver criado essa tabela, a Proteção de dados sensíveis vai criar automaticamente usando o nome fornecido.

A Proteção de Dados Sensíveis começa a exportar perfis a partir do momento em que você ativa essa opção. Os perfis gerados antes da ativação da exportação não são salvos no BigQuery.

Anexar tags a recursos

Ativar a opção Anexar tags aos recursos instrui a Proteção de dados sensíveis a marcar automaticamente seus dados de acordo com o nível de confidencialidade calculado. Nesta seção, você precisa concluir as tarefas em Controlar o acesso do IAM a recursos com base na sensibilidade dos dados.

Para marcar automaticamente um recurso de acordo com o nível de sensibilidade calculado, siga estas etapas:

  1. Ative a opção Tag resources.

  2. Para cada nível de sensibilidade (alto, moderado, baixo e desconhecido), insira o caminho do valor da tag que você criou para o nível de sensibilidade.

    Se você pular um nível de confidencialidade, nenhuma tag será anexada a ele.

  3. Para diminuir automaticamente o nível de risco de dados de um recurso quando a tag de nível de sensibilidade estiver presente, selecione Quando uma tag for aplicada a um recurso, diminua o risco de dados do perfil para BAIXO. Essa opção ajuda a medir a melhoria na postura de segurança e privacidade dos dados.

  4. Selecione uma ou ambas as opções a seguir:

    • Marcar um recurso quando ele receber um perfil pela primeira vez.

    • Marcar um recurso quando o perfil dele for atualizado. Selecione essa opção se quiser que a Proteção de Dados Sensíveis substitua o valor da tag do nível de sensibilidade nas próximas execuções de descoberta. Consequentemente, o acesso de um principal a um recurso muda automaticamente conforme o nível de sensibilidade de dados calculado para esse recurso aumenta ou diminui.

      Não selecione essa opção se você planeja atualizar manualmente os valores da tag de nível de sensibilidade que o serviço de descoberta anexou aos seus recursos. Se você selecionar essa opção, a Proteção de dados sensíveis poderá substituir as atualizações manuais.

Publicar no Pub/Sub

Ativar a opção Publicar no Pub/Sub permite que você realize ações programáticas com base nos resultados do perfil. É possível usar as notificações do Pub/Sub para desenvolver um fluxo de trabalho para detectar e corrigir as descobertas com risco ou sensibilidade de dados significativos.

Para enviar notificações a um tópico do Pub/Sub, siga estas etapas:

  1. Ative a opção Publicar no Pub/Sub.

    Uma lista de opções vai aparecer. Cada opção descreve um evento que faz com que a Proteção de dados sensíveis envie uma notificação para o Pub/Sub.

  2. Selecione os eventos que vão acionar uma notificação do Pub/Sub.

    Se você selecionar Enviar uma notificação do Pub/Sub sempre que um perfil for atualizado, a Proteção de dados sensíveis vai enviar uma notificação quando houver uma mudança no nível de sensibilidade, no nível de risco de dados, nos infoTypes detectados, no acesso público e em outras métricas importantes no perfil.

  3. Para cada evento selecionado, siga estas etapas:

    1. Insira o nome do tópico. O nome precisa estar no seguinte formato:

      projects/PROJECT_ID/topics/TOPIC_ID

      Substitua:

      • PROJECT_ID: o ID do projeto associado ao tópico do Pub/Sub.
      • TOPIC_ID: o ID do tópico do Pub/Sub.

    2. Especifique se você quer incluir o perfil completo da tabela na notificação ou apenas o nome completo do recurso da tabela que foi criado.

    3. Defina os níveis mínimos de risco e sensibilidade dos dados que precisam ser atendidos para que a Proteção de Dados Sensíveis envie uma notificação.

    4. Especifique se apenas uma ou ambas as condições de risco e sensibilidade dos dados precisam ser atendidas. Por exemplo, se você escolher AND, o risco de dados e as condições de sensibilidade precisam ser atendidos antes que a Proteção de Dados Sensíveis envie uma notificação.

Enviar para o Dataplex como tags

Com essa ação, você pode criar tags no Dataplex com base em insights dos perfis de dados. Essa ação só é aplicada a perfis novos e atualizados. Os perfis atuais que não forem atualizados não serão enviados ao Dataplex.

O Dataplex é um serviço do Google Cloud que unifica dados distribuídos e automatiza o gerenciamento e a governança desses dados. Quando você ativa essa ação, as tabelas que você cria são marcadas automaticamente no Dataplex de acordo com os insights coletados dos perfis de dados. Em seguida, pesquise tabelas com valores de tag específicos na sua organização e projetos.

Para enviar os perfis de dados ao Dataplex, verifique se a opção Enviar para o Dataplex como tags está ativada.

Para mais informações, consulte Tabelas de tags no Dataplex com base em insights de perfis de dados.

Gerenciar o contêiner e o faturamento do agente de serviço

Nesta seção, você especifica o projeto a ser usado como um contêiner de agente de serviço. Você pode fazer com que a Proteção de dados sensíveis crie automaticamente um novo projeto ou escolher um projeto existente.

Independentemente de você estar usando um agente de serviço recém-criado ou reutilizando um já existente, verifique se ele tem acesso de leitura aos dados a serem caracterizados.

Criar um projeto automaticamente

Se você não tiver as permissões necessárias para criar um projeto na organização, selecione um projeto existente ou obtenha as permissões necessárias. Para informações sobre as permissões necessárias, consulte Papéis necessários para trabalhar com perfis de dados no nível da organização ou da pasta.

Para criar automaticamente um projeto para usar como contêiner do agente de serviço, siga estas etapas:

  1. No campo Container do agente de serviço, revise o ID do projeto sugerido e edite conforme necessário.
  2. Clique em Criar.
  3. Opcional: atualize o nome do projeto padrão.

  4. Selecione a conta a ser cobrada para todas as operações faturáveis relacionadas a este novo projeto, incluindo operações não relacionadas à descoberta.

  5. Clique em Criar.

A Proteção de Dados Sensíveis cria o novo projeto. O agente de serviço neste projeto será usado para autenticação na API de proteção de dados sensíveis e em outras APIs.

Selecionar um projeto existente

Para selecionar um projeto como contêiner do agente de serviço, clique no campo Contêiner do agente de serviço e selecione o projeto.

Definir o local para armazenar a configuração

Clique na lista Local do recurso e selecione a região em que você quer armazenar essa configuração de verificação. Todas as configurações de verificação que você criar mais tarde também serão armazenadas nesse local.

O local em que você decide armazenar a configuração da verificação não afeta os dados a serem verificados. Seus dados são verificados na mesma região em que estão armazenados. Para mais informações, consulte Considerações sobre a residência de dados.

Revisar e criar

  1. Se você não quiser que a criação de perfil seja iniciada automaticamente após criar a configuração da verificação, selecione Criar verificação no modo pausado.

    Essa opção é útil nos seguintes casos:

  2. Revise suas configurações e clique em Criar.

    A Proteção de Dados Sensíveis cria a configuração de verificação e a adiciona à lista de configurações de verificação de descoberta.

Para conferir ou gerenciar suas configurações de verificação, consulte Gerenciar configurações de verificação.

Se o agente de serviço tiver as funções necessárias para acessar e criar o perfil dos dados, a Proteção de Dados Sensíveis vai começar a verificar seus dados logo após você criar a configuração de verificação ou retomar uma configuração pausada. Caso contrário, a Proteção de dados sensíveis vai mostrar um erro quando você visualizar os detalhes da configuração da verificação.

A seguir