Faça a gestão dos custos do registo de auditoria de acesso a dados
Normalmente, o Bigtable é usado para cargas de trabalho grandes e de elevado volume. Como resultado, se não gerir o volume de registos, o Bigtable pode gerar um número extremamente elevado de registos DATA_READ e DATA_WRITE, o que leva a custos de armazenamento de registos inesperadamente elevados. Se usar o registo de auditoria de acesso aos dados, deve tomar medidas para gerir o volume de registos.
Quando segue as práticas recomendadas para a autenticação do Bigtable, a maioria da atividade do registo de auditoria de acesso a dados é gerada por contas de serviço. Uma conta de serviço é uma conta que uma aplicação usa para autenticar e fazer chamadas API a Google Cloud serviços como o Bigtable. A gestão dos registos da conta de serviço é o passo mais importante para reduzir o volume de registos. Também pode limitar os registos com base noutros critérios.
Pode ativar o registo de auditoria de acesso a dados para o Bigtable das seguintes formas:
- Usar a Google Cloud consola
- Serviços individuais (por exemplo, apenas o Bigtable)
- Configuração predefinida todos os serviços num Google Cloud projeto (não apenas o Bigtable)
- Usar a Cloud Logging API
Depois de ativar o registo de auditoria, siga estes passos para restringir o volume de registos.
Identifique contas de serviço
Primeiro, identifique as contas de serviço para as quais não precisa de registos. A lista de contas de serviço que não são úteis e não devem ser registadas depende da sua aplicação e das necessidades da empresa.Para obter uma lista de contas de serviço que têm autorizações da API Cloud Bigtable (API de dados), pode pesquisar políticas de IAM para a sua organização. Também pode vê-las na página Autorizações de IAM Google Cloud da consola no separador Entidades.
Configure restrições de registos
Em seguida, configure as restrições de registo. Existem duas formas de gerir o volume de registos do Bigtable limitando os registos da conta de serviço. Pode isentar as contas de serviço através da configuração de auditoria ou excluir os registos da conta de serviço através de filtros de exclusão de registos. Para cada método, pode usar a API Cloud Logging ou a Google Cloud consola.
Exente contas de serviço através da configuração de auditoria
A isenção de contas de serviço através da configuração de auditoria é a abordagem recomendada porque permite impedir que determinados registos sejam gerados em primeiro lugar. Para instruções detalhadas, consulte o seguinte:
- Configurar registos de auditoria de acesso aos dados com a API
- Configurar registos de auditoria de acesso aos dados com a Google Cloud consola
Exclua contas de serviço através de filtros de exclusão
Os filtros de exclusão permitem-lhe especificar registos a excluir do carregamento nos seus contentores de registos. Nesta abordagem, os registos são rejeitados depois de terem sido criados, pelo que continuam a impor uma carga de processamento nos componentes do serviço Bigtable que servem os seus dados. Devido a esta carga, recomendamos que use a configuração de auditoria. Para mais informações sobre como configurar filtros através da Google Cloud consola e da API, consulte o artigo Crie um destino.
Calcule os custos do registo de auditoria de acesso a dados
Uma vez que o Bigtable é normalmente usado para cargas de trabalho grandes e de elevado volume, tem o potencial de gerar um número extremamente elevado de registos. Antes de ativar o registo de auditoria de acesso aos dados para o Bigtable, deve estimar e compreender os custos de carregamento e armazenamento dos registos de auditoria da nuvem que o registo de auditoria pode incorrer todos os meses.
Os custos de registo de auditoria de acesso a dados estão diretamente relacionados com o número de pedidos do Bigtable que optar por registar todos os meses. A tabela seguinte mostra estimativas aproximadas dos custos dos registos de auditoria do Google Cloud que pode esperar com base nas suas solicitações médias por segundo e no período durante o qual armazena os registos, partindo do princípio de que regista todos os pedidos de dados. Consulte o artigo Calcular os custos para ver uma explicação detalhada de como estas estimativas são calculadas.
| Média de pedidos por segundo | Tempo de retenção de registos | Custo mensal aproximado |
|---|---|---|
| 1000 | 30 | 1197 $ |
| 1000 | 90 | 1246 $ |
| 10 000 | 30 | 12 195 $ |
| 10 000 | 90 | 12 684 $ |
| 100 000 | 30 | $122,177 |
| 100 000 | 90 | 124 621 $ |
Calcule os seus custos
Comece com as seguintes pressuposições:
- O número de segundos num mês médio é de cerca de 2 628 000.
- O tamanho médio da auditoria é de cerca de 1 KB.
- Não lhe é cobrado nada pelos primeiros 50 GiB de registos de auditoria carregados por mês.Após esse valor, é-lhe cobrado 0, 50 USD/GiB.
- O armazenamento é gratuito durante 30 dias.Após esse período, é-lhe cobrado 0,01 USD/GiB pelo armazenamento.
O método descrito nesta página fornece uma estimativa bruta com base em todo o tráfego. Em produção, recomendamos que restrinja o registo de contas de serviço.
Calcule o volume de registos mensal
Primeiro, estime a quantidade média de registos que o seu tráfego vai gerar num mês médio.
- Recolha o número médio de pedidos por segundo que a sua aplicação envia para o Bigtable ao longo de um mês.
- Se usar métricas do lado do cliente, pode usá-las para determinar as suas consultas médias por segundo (QPS) no último mês.
- Se preferir usar a página de estatísticas do sistema da sua instância na Google Cloud consola, use-a para determinar os valores médios de pedidos de leitura e pedidos de escrita por segundo no último mês e, em seguida, adicione esses dois valores.
- Multiplique os pedidos por segundo por 2 628 000 para obter a média de pedidos por mês.
- Divida esse número por 10e6 ou 1 000 000. O resultado é o volume de registos mensal estimado em GB que pode gerar todos os meses.
- Multiplique o volume de registos mensal em GB por 0,93 para obter o volume de registos mensal aproximado em GiB.
Calcule os custos de carregamento
- Subtraia 50 GiB ao volume de registos mensal em GiB que calculou. Os primeiros 50 GiB não têm custo financeiro.
- Multiplique o resto por 0,50 € para chegar aos custos de carregamento estimados mensais.
Calcule os custos de armazenamento
- Se planeia deixar os seus registos expirar após 30 dias, o custo de armazenamento é de 0,00 USD.
- Se armazenar os seus registos durante mais de 30 dias, pode estimar os custos de armazenamento multiplicando o volume de registos mensal por 0,01 USD. Estes custos começam a ser aplicados após o primeiro mês.
Exemplo detalhado
5000 pedidos por segundo, registos retidos durante 90 dias
Neste exemplo, suponha que o número médio de pedidos por segundo é de 5000 e planeia manter os registos durante 90 dias. Usando os passos nesta página, calcula as seguintes estimativas:
- Multiplique 5000 por 2 628 000 para chegar a 13 140 000 000 pedidos por mês.
- Divida 13 140 000 000 por 10e6 para chegar a aproximadamente 13 140 GB de volume de registos mensal.
- Converta esse número em GiB multiplicando-o por 0,93 para chegar a 12 220.
- Subtraia 50 GiB ao volume de registos mensal para obter 12 170 GiB.
- Multiplique por 0,50 € para obter 6085 € em custos de carregamento.
- Durante o primeiro mês em que os registos existirem, o custo de armazenamento é de 0 $.
- No segundo mês, o custo de armazenamento de registos é de 12 170 multiplicado por 0,01 USD, ou cerca de 122 USD.
- Todos os meses após o segundo mês, o custo de armazenamento mensal é o dobro, ou seja, 244 USD.
- Após o segundo mês, os seus custos de registo de auditoria de acesso aos dados estimados seriam de cerca de 6329 USD por mês.
Apresentado sob a forma de equação, isto tem o seguinte aspeto: (((((5000 rps * 2 628 000 seg)/1 000 000) * 0,93) - 50 GiB) * 0,50 $) + 122 $= 6207 $.
Neste exemplo, os seus custos mensais de registo de acesso aos dados são de cerca de 6329 € por mês.