Esta página descreve como estimar o custo do perfil de dados do BigQuery em um projeto. Se você quiser criar uma estimativa para uma organização ou pasta, consulte Como estimar o custo da criação de perfis de dados para uma organização ou pasta.
Para mais informações sobre o perfil de dados do BigQuery, consulte Perfis de dados para dados do BigQuery.
Visão geral
Antes de começar a gerar perfis de dados, faça uma estimativa para entender quantos dados do BigQuery você tem e quanto pode custar para criar o perfil desses dados. Para fazer uma estimativa, crie uma estimativa.
Ao criar uma estimativa, você especifica o recurso (organização, pasta ou projeto) que contém os dados que você quer criar o perfil. É possível definir filtros para aprimorar a seleção de dados. Também é possível definir condições que precisam ser atendidas antes que a Proteção de Dados Sensíveis crie um perfil de tabela. A Proteção de dados sensíveis baseia a estimativa na forma, no tamanho e no tipo dos dados no momento em que você cria a estimativa.
Cada estimativa inclui detalhes como o número de tabelas correspondentes encontradas no recurso, o tamanho total de todas essas tabelas e o custo estimado de gerar o perfil do recurso uma vez por mês.
Para mais informações sobre como o preço é calculado, consulte Preços de criação de dados.
Estimativa de preços
A criação de uma estimativa é gratuita.
Retenção
Cada estimativa é excluída automaticamente após 28 dias.
Antes de começar
Para receber as permissões necessárias para criar e gerenciar estimativas de custo de criação de perfil de dados,
peça ao administrador para conceder a você o
papel do IAM de Administrador do DLP (roles/dlp.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Verifique se a API Cloud Data Loss Prevention está ativada no seu projeto:
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the required API.
-
Para receber as permissões necessárias para criar e gerenciar estimativas de custo de criação de perfil de dados, peça ao administrador para conceder a você o papel do IAM de Administrador do DLP (
roles/dlp.admin) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
Criar uma estimativa
Acesse a página Criar estimativa do perfil de dados.
Selecione o projeto.
As seções a seguir fornecem mais informações sobre as etapas na página Criar estimativa de perfil de dados. No final de cada seção, clique em Continuar.
Selecionar o recurso a ser verificado
Verifique se a opção Scan entire project está selecionada.Filtros e condições de entrada
Pule esta seção se você quiser incluir todas as tabelas do BigQuery no projeto na estimativa.Nesta seção, você cria filtros para especificar determinados subconjuntos de dados que você quer incluir ou excluir da estimativa. Para os subconjuntos que você inclui na estimativa, também especifique todas as condições que uma tabela no subconjunto precisa atender para ser incluída na estimativa.
Para definir filtros e condições, siga estas etapas:
- Clique em Adicionar filtros e condições.
Na seção Filtros, você define um ou mais filtros que especificam quais tabelas estão no escopo da estimativa.
Especifique pelo menos uma das seguintes opções:
- Um ID do projeto ou uma expressão regular que especifica um ou mais projetos.
- Um ID ou uma expressão regular que especifica um ou mais conjuntos de dados.
- Um ID de tabela ou uma expressão regular que especifica uma ou mais tabelas.
As expressões regulares precisam seguir a sintaxe RE2.
Por exemplo, se você quiser que todas as tabelas de um conjunto de dados sejam incluídas no filtro, especifique o ID desse conjunto e deixe os outros dois campos em branco.
Se quiser adicionar mais filtros, clique em Adicionar filtro e repita esta etapa.
Se os subconjuntos de dados definidos pelos seus filtros precisam ser excluídos da estimativa, desative a opção Incluir as tabelas correspondentes na minha estimativa. Se você desativar essa opção, as condições descritas no restante desta seção serão ocultas.
Opcional: na seção Condições, especifique as condições que as tabelas de correspondência precisam atender para serem incluídas na estimativa. Se você pular esta etapa, a Proteção de dados sensíveis vai incluir todas as tabelas compatíveis que correspondem aos seus filtros, independentemente do tamanho e da idade.
Configure as seguintes opções:
Condições mínimas: para excluir tabelas pequenas ou novas da estimativa, defina uma contagem mínima de linhas ou a idade da tabela.
Condição de tempo: para excluir tabelas antigas, ative a condição de tempo. Em seguida, escolha uma data e hora. Qualquer tabela criada nessa data ou antes dela é excluída da estimativa.
Por exemplo, se você definir a condição de tempo como 5/4/22, 11:59 PM, a Proteção de dados sensíveis vai excluir da estimativa todas as tabelas criadas até 4 de maio de 2022, às 23h59.
Tabelas para gerar perfil: para especificar os tipos de tabelas a serem incluídos na estimativa, selecione Incluir apenas tabelas de um ou mais tipos especificados. Em seguida, selecione os tipos de tabelas que você quer incluir.
Se você não ativar essa condição ou não selecionar nenhum tipo de tabela, a Proteção de dados sensíveis vai incluir todas as tabelas com suporte na estimativa.
Suponha que você tenha a seguinte configuração:
Condições mínimas
- Contagem mínima de linhas: 10
- Duração mínima: 24 horas
Condição de tempo
- Carimbo de data/hora: 4/5/2022, 23h59
Tabelas para o perfil
A opção Incluir apenas tabelas de um ou mais tipos especificados está selecionada. Na lista de tipos de tabela, apenas Tabelas do BigLake do perfil está selecionada.
Nesse caso, a Proteção de dados sensíveis exclui todas as tabelas criadas em ou antes de 4 de maio de 2022, 23h59. Entre as tabelas criadas após essa data e hora, a Proteção de dados sensíveis cria perfis apenas para as tabelas do BigLake que têm 10 linhas ou têm pelo menos 24 horas.
Clique em Concluído.
Se você quiser adicionar mais filtros e condições, clique em Adicionar filtros e condições e repita as etapas anteriores.
O último item na lista de filtros e condições é sempre o identificado como Filtros e condições padrão. Essa configuração padrão é aplicada às tabelas do projeto que não correspondem a nenhum dos filtros e condições criados.
Se você quiser ajustar os filtros e as condições padrão, clique em Editar filtros e condições e ajuste as configurações conforme necessário.
Definir local para armazenar a estimativa
Na lista Local do recurso, selecione a região em que você quer armazenar essa estimativa.
O local em que você decide armazenar a estimativa não afeta os dados a serem verificados. Além disso, não afeta onde os perfis de dados são armazenados. Os dados são verificados na mesma região em que estão armazenados (conforme definido no BigQuery). Para mais informações, consulte Considerações sobre a residência de dados.
Revise suas configurações e clique em Criar.
A Proteção de Dados Sensíveis cria a estimativa e a adiciona à lista de estimativas. Em seguida, ele executa a estimativa.
Dependendo da quantidade de dados no recurso, a estimativa pode levar até 24 horas para ser concluída. Enquanto isso, você pode fechar a página de proteção de dados sensíveis e conferir mais tarde. Uma notificação aparece no console do Google Cloud quando a estimativa está pronta.
Conferir uma estimativa
Acesse a lista de estimativas.
Clique na estimativa que você quer conferir. A estimativa contém o seguinte:
- O número de tabelas no recurso, menos as tabelas que você excluiu com filtros e condições.
- A quantidade total de dados que as tabelas representam.
- O número de unidades de assinatura necessárias para criar o perfil dessa quantidade de dados todos os meses.
- O custo da descoberta inicial, que é o custo aproximado de criar perfis das tabelas encontradas. Essa estimativa é baseada apenas em um instantâneo dos dados atuais e não considera o crescimento dos dados em um determinado período.
- Outras estimativas de custo para criar perfis apenas de tabelas com menos de 6, 12 ou 24 meses. Essas estimativas adicionais são fornecidas para mostrar como limitar ainda mais a cobertura de dados pode ajudar você a controlar o custo do perfil de dados.
- O custo mensal estimado de criação de perfil dos seus dados, considerando que o uso do BigQuery a cada mês é o mesmo que neste mês.
- Um gráfico que mostra o crescimento do BigQuery ao longo do tempo.
- Os detalhes de configuração definidos.
Gráfico de estimativa
Cada estimativa inclui um gráfico que mostra o crescimento histórico dos seus dados do BigQuery. Use essas informações para estimar o custo mensal de criação de perfis de dados.
A seguir
- Saiba mais sobre preços da criação de perfis de dados.
- Saiba mais sobre perfis de dados para dados do BigQuery.
- Saiba como criar perfis de dados em uma organização ou pasta.
- Saiba como criar perfis de dados em um único projeto.