Gerenciar custos de registro de auditoria de acesso a dados

O Bigtable normalmente é usado para grandes cargas de trabalho de alto volume. Desse modo, se você não gerenciar o volume de registros, o Bigtable pode gerar um número extremamente alto de registros DATA_READ e DATA_WRITE, levando a um aumento inesperado nos custos de armazenamento de registros. Se você usa a geração de registros de auditoria de acesso a dados, é preciso adotar medidas para gerenciar o volume de registros.

Quando você segue as melhores práticas para a autenticação do Bigtable, a maioria das atividades do registro de auditoria de acesso a dados é gerada pelas contas de serviço. Uma conta de serviço é uma conta utilizada por um aplicativo para autenticar e fazer chamadas de API para serviços do Google Cloud, como o Bigtable. Gerenciar os registros da conta de serviço é a etapa mais importante para reduzir o volume de registros. Talvez você também queira limitar os registros usando outros critérios.

É possível ativar a geração de registros de auditoria de acesso a dados para o Bigtable das seguintes maneiras:

Depois de ativar a geração de registros, siga as etapas a seguir para restringir o volume de registros.

Identificar contas de serviço

Primeiro, identifique as contas de serviço para as quais os registros não são necessários. A lista de contas de serviço que não são úteis e não devem ser registradas depende das suas necessidades de aplicativo e negócios. Para conferir uma lista de contas de serviço com permissões da API Cloud Bigtable (API de dados), pesquise políticas do IAM para sua organização. Também é possível visualizá-las na página Permissões do IAM do console do Google Cloud na guia Principais.

Como configurar restrições de registro

Em seguida, configure as restrições de registro. Há duas maneiras de gerenciar o volume de registros do Bigtable limitando os registros de conta de serviço. É possível excluir as contas de serviço usando a configuração de auditoria ou excluir os registros das contas de serviço usando filtros de exclusão de registros. Para cada método, é possível usar a API Cloud Logging ou o console do Google Cloud.

Isentar contas de serviço usando a configuração de auditoria

Isentar contas de serviço usando a configuração de auditoria é a abordagem recomendada, porque ela impede que alguns registros sejam gerados. Para informações detalhadas, consulte:

Excluir contas de serviço usando filtros de exclusão

Os filtros de exclusão permitem especificar registros a serem excluídos da ingestão para seus buckets de registros. Nessa abordagem, os registros são descartados depois de serem criados, para que ainda possam impor uma carga de processamento nos componentes de serviço do Bigtable que veiculam seus dados. Devido a essa carga, recomendamos que você use a configuração de auditoria. Para mais informações sobre como configurar filtros usando o console do Google Cloud e a API, consulte Criar um coletor.

Estimar custos de registro de auditoria de acesso a dados

Como o Bigtable normalmente é usado para cargas de trabalho grandes e de alto volume, ele tem o potencial de gerar um número extremamente alto de registros. Antes de você ativar a geração de registros de auditoria de acesso a dados para o Bigtable, deve estimar e entender os custos de ingestão e armazenamento dos Registros de auditoria do Cloud; que podem gerar registros de auditoria todos os meses.

Os custos de geração de registros de auditoria de acesso a dados estão diretamente relacionados ao número de solicitações do Cloud Bigtable que você escolhe registrar a cada mês. A tabela a seguir mostra estimativas aproximadas dos custos dos registros de auditoria do Cloud que podem ser esperados com base em suas solicitações médias por segundo e no período em que você armazena seus registros. se você registrar todas as solicitações de dados. Consulte Como calcular seus custos para uma explicação detalhada de como essas estimativas são calculadas.

Média de solicitações por segundo Tempo de retenção de registros Custo mensal aproximado
1.000 30 US$ 1.197
1.000 90 US$ 1.246
10.000 30 US$ 12.195
10.000 90 US$ 12,684
100.000 30 US$ 122.177
100.000 90 US$ 124.621

Calcule seus custos

Comece com as seguintes suposições:

  • O número de segundos em um mês médio é de aproximadamente 2.628.000.
  • O tamanho médio da auditoria é de aproximadamente 1 kb.
  • Você não será cobrado pelos primeiros 50 GiB de registros de auditoria ingeridos por mês.Após essa quantia, será cobrado US$ 0, 50/GiB.
  • O armazenamento é gratuito por 30 dias.Depois disso, será cobrado US$ 0,01/GiB pelo armazenamento.

O método descrito nesta página fornece uma estimativa bruta com base em todo o tráfego. Na produção, recomendamos que você restrinja a geração de registros da conta de serviço.

Calcule o volume mensal de registros

Primeiro, calcule a quantidade média de registros que seu tráfego gerará em um mês médio.

  1. Reúna o número médio de solicitações por segundo que seu aplicativo envia ao Bigtable ao longo de um mês.
    • Se você usar métricas do lado do cliente, poderá usá-las para determinar suas consultas médias por segundo (QPS, na sigla em inglês) no último mês.
    • Se você preferir usar a página de monitoramento da instância no Console do Google Cloud, use-a para determinar os valores médios de solicitações de leitura e solicitações de gravação por segundo no último mês. Em seguida, adicione esses dois valores.
  2. Multiplique as solicitações por segundo por 2.628.000 para conseguir a média de solicitações por mês.
  3. Divida esse número por 10e6 ou 1.000.000. O resultado é o volume estimado de registro mensal em GB que você pode gerar a cada mês.
  4. Multiplique o volume de registros mensais em GB por 0,93 para conseguir o volume de registros mensais aproximado em GiB.

Calcule seus custos de ingestão

  1. Subtraia 50 GiB do volume de registros mensal em GiB que você calculou. Não há custos para os primeiros 50 GiB.
  2. Multiplique o restante por US$ 0,50 para chegar aos custos estimados de ingestão mensal.

Calcule seus custos de armazenamento

  1. Se você planeja permitir que os registros expirem após 30 dias, o custo de armazenamento é de US$ 0,00.
  2. Se você armazenar registros por mais de 30 dias, os custos de armazenamento poderão ser estimados multiplicando o volume de registros mensal por US$ 0,01. Esses custos começam a incorrer após o primeiro mês.

Exemplo detalhado

5.000 solicitações por segundo, registros retidos por 90 dias

Neste exemplo, suponha que o número médio de solicitações por segundo seja de 5.000 e você planeje manter os registros por 90 dias. Usando as etapas desta página, você calcula as seguintes estimativas:

  • Multiplique 5.000 por 2.628.000 para chegar a 13.140.000.000 de solicitações por mês.
  • Divida 13.140.000.000 por 10e6 para chegar a aproximadamente 13.140 GB de volume de registro mensal.
  • Converta esse número em GiB multiplicando-o por 0,93 para chegar a 12.220.
  • Subtraia 50 GiB do volume de registros mensal para ter 12.170 GiB.
  • Multiplique por US$ 0,50 para receber US$ 6.085 em custos de ingestão.
  • No primeiro mês em que existirem os registros, o custo de armazenamento será de US$ 0.
  • O segundo mês, o custo de armazenamento de registros é de 12.170 multiplicado por US$ 0,01, ou cerca de US$ 122.
  • A cada mês após o segundo mês, o custo de armazenamento mensal é o dobro disso, ou US$ 244.00.
  • Após o segundo mês, os custos estimados da geração de registros de auditoria de acesso a dados seriam de cerca de US$ 6.329 por mês.

Apresentado em forma de equação, tem esta aparência ((((5.000 rps * 2.628.000 segundo)/1.000.000) * 0,93) - 50 GiB) US$ 0,50) + US $122 = US$ 6.207.

Neste exemplo, os custos mensais de geração de registros de acesso a dados são de cerca de US$ 6.329 por mês.

A seguir