Nesta página, descrevemos como estimar o custo da criação do perfil de dados do BigQuery em uma organização ou pasta. Se você quiser criar uma estimativa para um projeto, consulte Estimar o custo da criação de perfil de dados para um único projeto.
Para mais informações sobre a criação de perfil de dados do BigQuery, consulte Perfis de dados para dados do BigQuery.
Visão geral
Antes de começar a gerar perfis de dados, execute uma estimativa para entender a quantidade de dados do BigQuery que você tem e quanto pode custar para criar o perfil desses dados. Para gerar uma estimativa, você cria uma estimativa.
Ao criar uma estimativa, você especifica o recurso (organização, pasta ou projeto) que contém os dados para os quais você quer criar um perfil. É possível definir filtros para ajustar a seleção dos dados. Também é possível definir as condições que precisam ser atendidas antes que a proteção de dados sensíveis crie um perfil de tabela. A proteção de dados sensíveis baseia a estimativa na forma, no tamanho e no tipo dos dados no momento em que ela é criada.
Cada estimativa inclui detalhes como o número de tabelas correspondentes encontradas no recurso, o tamanho total de todas essas tabelas e o custo estimado da criação de perfil do recurso uma vez por mês.
Para mais informações sobre como os preços são calculados, consulte Preços da criação de perfil de dados.
Estimativa de preços
A criação de uma estimativa é gratuita.
Retenção
As estimativas são excluídas automaticamente após 28 dias.
Limitações
Se sua organização ou pasta tiver um projeto protegido por um perímetro de serviço VPC Service Controls, a Proteção de Dados Sensíveis poderá registrar menos a quantidade de dados do BigQuery no recurso. Se você tiver perímetros de serviço, crie uma estimativa para cada perímetro de serviço de maneira independente.
Antes de começar
Para receber as permissões necessárias para criar e gerenciar estimativas de custo da criação de perfil de dados,
peça ao administrador para conceder a você o
papel do IAM de Administrador de DLP (roles/dlp.admin) na organização ou pasta.
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Criar uma estimativa
Acesse a página Criar estimativa do perfil de dados.
Selecione a organização.
As seções a seguir fornecem mais informações sobre as etapas na página Criar estimativa do perfil de dados. No final de cada seção, clique em Continuar.
Selecionar o recurso a ser verificado
Escolha uma destas opções:- Para criar uma estimativa para uma organização, selecione Verificar toda a organização.
- Para criar uma estimativa para uma pasta, selecione Scan selected folder. Em seguida, clique em Procurar e selecione a pasta.
Filtros e condições de entrada
Pule esta seção se quiser incluir todas as tabelas do BigQuery na organização ou na pasta na estimativa.Nesta seção, você cria filtros para especificar subconjuntos de dados que você quer incluir ou excluir da estimativa. Para subconjuntos incluídos na estimativa, você também especifica quaisquer condições que uma tabela no subconjunto precisa atender para ser incluída na estimativa.
Para definir filtros e condições, siga estas etapas:
- Clique em Adicionar filtros e condições.
Na seção Filtros, defina um ou mais filtros que especificam quais tabelas estão no escopo da estimativa.
Especifique pelo menos uma das seguintes opções:
- Um ID do projeto ou uma expressão regular que especifica um ou mais projetos.
- Um ID do conjunto de dados ou uma expressão regular que especifica um ou mais conjuntos de dados.
- Um ID de tabela ou uma expressão regular que especifica uma ou mais tabelas.
As expressões regulares precisam seguir a sintaxe RE2.
Por exemplo, se você quiser que todas as tabelas de um projeto sejam incluídas no filtro, especifique o ID desse projeto e deixe os outros dois campos em branco.
Se você quiser incluir mais filtros, clique em Adicionar filtro e repita essa etapa.
Se os subconjuntos de dados definidos pelos filtros precisarem ser excluídos da estimativa, desative a opção Incluir as tabelas correspondentes na minha estimativa. Se você desativar essa opção, as condições descritas no restante desta seção vão ficar ocultas.
Opcional: na seção Condições, especifique as condições que as tabelas correspondentes precisam atender para serem incluídas na estimativa. Se você pular essa etapa, a proteção de dados sensíveis incluirá todas as tabelas compatíveis que correspondem aos seus filtros, independentemente dos tamanhos e idades deles.
Configure as seguintes opções:
Condições mínimas: para excluir tabelas pequenas ou novas da estimativa, defina uma contagem mínima de linhas ou idade da tabela.
Condição de tempo: para excluir tabelas antigas, ative a condição de tempo. Em seguida, escolha uma data e uma hora. Qualquer tabela criada nessa data ou antes dela será excluída da estimativa.
Por exemplo, se você definir a condição de horário como 04/05/22, 23h59, a Proteção de Dados Sensíveis vai excluir qualquer tabela criada até 4 de maio de 2022, às 23h59 da estimativa.
Tabelas para criar o perfil: para especificar os tipos de tabelas a serem incluídas na estimativa, selecione Incluir apenas tabelas de um ou mais tipos especificados. Em seguida, selecione os tipos de tabelas que você quer incluir.
Se você não ativar essa condição ou não selecionar nenhum tipo de tabela, a proteção de dados sensíveis vai incluir todas as tabelas compatíveis na estimativa.
Suponha que você tenha a seguinte configuração:
Condições mínimas
- Contagem mínima de linhas: 10 linhas
- Duração mínima: 24 horas
Condição de tempo
- Carimbo de data/hora: 04/05/22, 23h59
Tabelas para criar o perfil
A opção Incluir apenas tabelas de um ou mais tipos especificados é selecionada. Na lista de tipos de tabela, somente a opção Criar perfil de tabelas do BigLake está selecionada.
Nesse caso, a proteção de dados sensíveis exclui todas as tabelas criadas até 4 de maio de 2022, às 23h59. Entre as tabelas criadas após essa data e hora, a Proteção de Dados Sensíveis cria perfis de apenas as tabelas do BigLake que tiverem 10 linhas ou pelo menos 24 horas.
Clique em Concluído.
Se você quiser adicionar mais filtros e condições, clique em Adicionar filtros e condições e repita as etapas anteriores.
O último item na lista de filtros e condições é sempre rotulado como Filtros e condições padrão. Essa configuração padrão é aplicada às tabelas no recurso selecionado (organização ou pasta) que não correspondem a nenhum dos filtros e condições criados.
Se você quiser ajustar os filtros e as condições padrão, clique em Editar filtros e condições e ajuste as configurações conforme necessário.
Gerenciar o contêiner e o faturamento do agente de serviço
Nesta seção, você especificará o projeto a ser usado como um contêiner do agente de serviço. Você pode fazer com que a proteção de dados sensíveis crie automaticamente um novo projeto ou escolha um atual.
Se você não tiver um contêiner de agente de serviço, selecione Criar um novo projeto como contêiner de agente de serviço.
A proteção de dados sensíveis cria um novo projeto chamado Contêiner do agente de serviço da DLP. O agente de serviço neste projeto será usado para autenticação na proteção de dados sensíveis e em outras APIs. A proteção de dados sensíveis solicita que você selecione a conta para faturar todas as operações faturáveis relacionadas a este projeto, incluindo operações que não estão relacionadas à criação de perfil de dados.
Se você não tiver as permissões necessárias para criar projetos, essa opção estará desativada. Para informações sobre as permissões necessárias, consulte Papéis necessários para trabalhar com perfis de dados no nível da organização ou da pasta.
Se você tiver um contêiner de agente de serviço que queira reutilizar, selecione Selecionar um contêiner de agente de serviço atual. Em seguida, clique em Procurar para selecionar o ID do projeto do contêiner do agente de serviço.
Independentemente de você estar usando um agente de serviço recém-criado ou reutilizando um existente, verifique se ele tem acesso de leitura aos dados para criar o perfil.
Definir local para armazenar a estimativa
Na lista Local do recurso, selecione a região em que você quer armazenar essa estimativa.
O local escolhido para armazenar a estimativa não afeta os dados a serem verificados. Além disso, não afeta o local em que os perfis de dados são armazenados posteriormente. Os dados são verificados na mesma região em que estão armazenados (conforme definido no BigQuery). Para mais informações, consulte Considerações sobre a residência de dados.
Revise suas configurações e clique em Criar.
A proteção de dados sensíveis cria a estimativa e a adiciona à lista de estimativas. Depois, executa a estimativa.
Dependendo da quantidade de dados no recurso, uma estimativa pode levar até 24 horas para ser concluída. Enquanto isso, feche a página "Proteção de Dados Sensíveis" e verifique novamente mais tarde. Uma notificação será exibida no console do Google Cloud quando a estimativa estiver pronta.
Ver uma estimativa
Acesse a lista de estimativas.
Clique na estimativa que você quer conferir. A estimativa contém o seguinte:
- O número de tabelas no recurso, menos as tabelas excluídas por filtros e condições.
- A quantidade total de dados que as tabelas representam.
- O número de unidades de assinatura necessárias para criar o perfil dessa quantidade de dados a cada mês.
- O custo da descoberta inicial, que é o custo aproximado da criação de perfil das tabelas que foram encontradas. Essa estimativa é baseada apenas em um resumo dos dados atuais e não considera o quanto seus dados crescem em um determinado período.
- Estimativas de custo adicionais apenas para a criação de perfil de tabelas com menos de 6, 12 ou 24 meses. Essas estimativas extras são fornecidas para mostrar como limitar ainda mais a cobertura de dados pode ajudar você a controlar o custo da criação de perfil de dados.
- O custo mensal estimado da criação do perfil dos seus dados, supondo que o uso do BigQuery a cada mês seja igual ao deste mês.
- Um gráfico que mostra o crescimento do BigQuery ao longo do tempo.
- Os detalhes de configuração que você definiu.
Gráfico de estimativa
Cada estimativa inclui um gráfico que mostra o crescimento histórico dos dados do BigQuery. Use essas informações para estimar o custo mensal da criação de perfil de dados.
A seguir
- Saiba mais sobre os preços da criação de perfil de dados.
- Saiba mais sobre perfis de dados do BigQuery.
- Saiba como criar um perfil de dados em uma organização ou pasta.
- Saiba como criar perfis de dados em um único projeto.