A Proteção de Dados Sensíveis tem muitos recursos avançados, mas, dependendo da quantidade de informações que você instrui a Proteção de Dados Sensíveis a verificar, é possível que os custos fiquem inviáveis. Neste tópico, descrevemos vários métodos que podem ser usados para manter os custos baixos e, ao mesmo tempo, garantir que você use a Proteção de Dados Sensíveis para verificar exatamente os dados pretendidos.
Inspeção
O Google recomenda as práticas a seguir para ajudar você a controlar os custos de inspeção.
Usar a amostragem para restringir o número de bytes inspecionados
Se você estiver verificando tabelas do BigQuery ou buckets do Cloud Storage, a Proteção de dados sensíveis poderá verificar um pequeno subconjunto do conjunto de dados. Esse procedimento pode fornecer uma amostragem dos resultados da verificação sem incorrer nos custos potenciais da verificação de um conjunto de dados inteiro.
Depois de encontrar uma amostra com dados confidenciais, será possível programar uma segunda análise mais abrangente desse conjunto de dados para detectar a lista completa de descobertas.
Para mais informações, consulte Como limitar a quantidade de conteúdo inspecionado em Como inspecionar dados confidenciais em armazenamento e bancos de dados.
Verificar apenas dados que foram alterados
Instrua a Proteção de dados sensíveis a evitar a verificação de dados que não foram modificados desde a última inspeção. A definição de um período permite controlar quais dados serão verificados com base na data da última modificação dos dados.
Se você estiver usando gatilhos de jobs, poderá definir a sinalização enable_auto_population_of_timespan_config em TimespanConfig para pular automaticamente o conteúdo que foi verificado durante o último job programado.
Para mais informações, consulte Limitar verificações a apenas novos conteúdos em Como criar e programar jobs de inspeção da Proteção de dados sensíveis.
Limitar verificações de arquivos no Cloud Storage apenas a arquivos relevantes
Ao especificar a mensagem CloudStorageRegexFileSet, é possível usar filtros de expressão regular para ter um controle mais preciso sobre quais arquivos ou pastas nos buckets serão incluídos ou excluídos.
Isso é útil quando você quer ignorar a verificação de arquivos que já sabe que não têm dados confidenciais, como backups, arquivos TMP, conteúdo da Web estático, etc.
Discovery
Recomendamos as práticas a seguir para ajudar a controlar os custos de criação de perfil de dados.
Fazer uma estimativa
Antes de iniciar uma operação de criação de perfil de dados, considere executar uma estimativa primeiro. A execução de uma estimativa permite entender o tamanho e a forma dos dados do BigQuery que serão analisados. Cada estimativa fornece a contagem aproximada de tabelas, o tamanho dos dados e o custo do perfil. Ele também mostra uma projeção do crescimento mensal dos seus dados do BigQuery.
Para mais informações sobre como fazer uma estimativa, consulte:
- Estimar o custo da criação de perfis de dados para uma organização ou pasta
- Estimar o custo da criação de perfis de dados para um só projeto
Adicionar programações às configurações de verificação
Para ajudar a controlar o custo do perfil de dados, crie uma programação em que você defina filtros e condições. Confira alguns exemplos do que você pode fazer:
- Se você não precisar criar perfis de determinadas tabelas, especifique que as tabelas que correspondem aos filtros nunca precisam ser analisadas.
- Se você quiser criar perfis apenas de determinadas tabelas, desative a criação de perfis para todas as tabelas, exceto aquelas que correspondem ao filtro.
- Se você quiser que determinadas tabelas sejam perfiladas apenas uma vez, e nunca mais, é possível especificar que essas tabelas nunca serão perfiladas novamente.
- Se você não precisar criar perfis de tabelas antigas, defina uma condição para criar perfis apenas das tabelas criadas após uma determinada data.
- Se você não precisar criar perfis de tabelas novas, defina uma condição para criar perfis apenas quando elas atingirem uma determinada idade ou uma contagem mínima de linhas.
Ver os custos usando um painel e consultar os registros de auditoria
Crie um painel para conferir seus dados de faturamento e fazer ajustes no uso da Proteção de dados sensíveis. Considere também fazer streaming dos registros de auditoria para a Proteção de dados sensíveis para analisar os padrões de uso.
É possível exportar os dados de faturamento para o BigQuery e visualizá-los em uma ferramenta, como o Looker Studio. Para conferir um tutorial sobre como criar um painel de faturamento, consulte Visualizar o faturamento do Google Cloud usando o BigQuery e o Looker Studio.
É possível também fazer streaming dos registros de auditoria para o BigQuery e analisá-los para verificar os padrões de uso, como custos de consulta por usuário.
Definir alertas de orçamento
Defina um alerta de orçamento para rastrear o aumento de gastos em relação a um determinado valor. A definição de um orçamento não limita o uso da API, apenas avisa quando seu gasto está próximo do valor especificado.