Esta página descreve como excluir registros do processamento usando o Console do Cloud e a API dos Registros.
O Cloud Logging permite excluir registros dos buckets de registros ao adicionar um filtro de exclusão nos coletores de registros que encaminham registros para eles. Usando a linguagem de consulta do Logging, escreva um filtro que defina quais registros excluir do bucket.
A página Armazenamento de registros rastreia o volume de registros no seu projeto. O Roteador de registros oferece ferramentas para desativar o processamento de todos os registros ou excluir (descartar) entradas de registro em que você não tem interesse. Assim, é possível minimizar as cobranças dos registros na sua cota mensal. Para mais informações sobre como as entradas de registro excluídas são tratadas, acesse Como funcionam as exclusões nesta página.
Para detalhes sobre os custos do Cloud Logging, consulte Preços. Se você enviar e excluir seus registros de fluxo da nuvem privada virtual do Cloud Logging, serão aplicadas as cobranças de geração de registros de fluxo da VPC.
Volume de registro de rastreamento
Para rastrear o volume de registros de seu projeto, acesse a página Armazenamento de registros no console do Cloud Logging:
Acessar o armazenamento de registros
A parte superior da página exibe um resumo das estatísticas dos registros que seu projeto está recebendo:
As seguintes estatísticas são informadas:
Volume de registros processados deste mês: a quantidade de registros que seu projeto recebeu desde a primeira data do mês atual.
Volume da ingestão de registros no último mês: a quantidade de registros que o projeto recebeu no último mês.
Projeção do volume de ingestão de registros : a quantidade estimada de registros que o projeto receberá até o final do mês atual, com base no uso atual.
Os volumes de registro não incluem determinados registros de auditoria: todos os registros de auditoria de atividades do administrador e todos os registros de auditoria de eventos do sistema. Esses registros são gratuitos e não podem ser excluídos ou desativados.
Como funcionam as exclusões
O diagrama a seguir ilustra como as entradas de registro excluídas são tratadas no Cloud Logging:
As condições a seguir se aplicam a entradas de registros excluídas no Logging:
As entradas de registro excluídas não são contabilizadas na cota do Logging fornecida aos projetos. Consulte Preços do Logging para mais detalhes.
As entradas de registro excluídas não ficam visíveis no Logs Explorer e não estão disponíveis para o Error Reporting nem para o Cloud Debugger.
É possível exportar as entradas de registro para fora do Cloud Logging usando coletores de registro que incluem destinos de coletor. Esses mesmos registros também podem ser excluídos da ingestão. Para mais informações, consulte Visão geral de roteamento e armazenamento: coletores.
Registros de auditoria que não podem ser desativados também não podem ser excluídos. No entanto, esses tipos de registros de auditoria são gratuitos.
Ao criar filtros de exclusão, é possível controlar quais entradas de registro serão excluídas (descartadas). Por exemplo, é possível excluir as entradas de registro de uma única instância de VM em vez de todas as instâncias de VM.
Limites de exclusão
Você pode ter até 50 filtros de exclusão em um projeto.
Programação de exclusão
Os registros são excluídos após serem recebidos pela API Logging.
Portanto, a exclusão de registros não reduz o número de entries.write chamadas de API.
Como criar filtros de exclusão
É possível criar um filtro de exclusão para um novo coletor de registros ou para um coletor existente.
Como criar filtros de exclusão para um novo coletor
Para criar um filtro de exclusão para um novo coletor de registros usando o roteador de registros, faça o seguinte:
Siga os procedimentos de Criar coletor.
Na etapa Escolher registros para filtrar do coletor (opcional), é possível criar o filtro de exclusão para excluir os registros.
Clique em Adicionar exclusão.
Digite um nome no campo Nome do filtro de exclusão.
Na seção Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir. Para uma visão geral da linguagem de consulta do Logging, consulte Linguagem de consulta do Logging. Também é possível usar a função
samplepara selecionar uma parte das entradas de registro.Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.
Quando terminar, clique em Criar coletor.
Como criar filtros de exclusão para um coletor existente
Para criar um filtro de exclusão para um coletor de registros existente usando o roteador de registros, faça o seguinte:
No menu do Logging, selecione Log Router.
No coletor que você quer adicionar o filtro de exclusão, clique em Mais more_vert.
Clique em Editar coletor.
Na seção Escolher registros para filtrar do coletor (opcional), crie o filtro de exclusão para excluir os registros.
Clique em +Adicionar exclusão.
Digite um nome no campo Nome do filtro de exclusão.
Na seção Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir. Para uma visão geral da linguagem de consulta do Logging, consulte Linguagem de consulta do Logging. Também é possível usar a função
samplepara selecionar uma parte das entradas de registro.Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.
Quando terminar, clique em Atualizar coletor.
Filtros para casos de uso comuns
Ao criar um filtro, é possível encontrar uma das seguintes situações:
Se você editou o filtro para o coletor
_Default, talvez queira restaurar o filtro padrão. Para fazer isso, insira o seguinte no campo Criar filtro de inclusão:NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \ LOG_ID("externalaudit.googleapis.com/activity") AND NOT \ LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \ LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \ LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \ LOG_ID("externalaudit.googleapis.com/access_transparency")Talvez você queira encaminhar todos os registros para um destino sem excluí-los. Para fazer isso, deixe o campo Criar filtro de inclusão em branco.
Talvez você queira excluir todos os registros para chegar a um destino. Para fazer isso, desative o coletor nesse destino.
Exemplos de filtros de exclusão do Google Kubernetes Engine
Use a seguinte consulta para excluir os registros de contêiner e pod do Google Kubernetes Engine do sistema GKE namespaces:
resource.type = ("k8s_container" OR "k8s_pod")
resource.labels.namespace_name = (
"cnrm-system" OR
"config-management-system" OR
"gatekeeper-system" OR
"gke-connect" OR
"gke-system" OR
"istio-system" OR
"knative-serving" OR
"monitoring-system" OR
"kube-system")
Use a seguinte consulta para excluir os registros de nós do Google Kubernetes Engine do sistema GKE logNames:
resource.type = "k8s_node"
logName:( "logs/container-runtime" OR
"logs/docker" OR
"logs/kube-container-runtime-monitor" OR
"logs/kube-logrotate" OR
"logs/kube-node-configuration" OR
"logs/kube-node-installation" OR
"logs/kubelet" OR
"logs/kubelet-monitor" OR
"logs/node-journal" OR
"logs/node-problem-detector")
É possível ver o volume de registros de nó, pod e contêiner do Google Kubernetes Engine ingeridos no Cloud Logging por meio do Metrics Explorer em Cloud Monitoring
Exemplo de filtro de exclusão do Dataflow
Use a consulta a seguir para excluir os registros do Dataflow que não são necessários para compatibilidade:
resource.type="dataflow_step"
labels."dataflow.googleapis.com/log_type"!="system" AND labels."dataflow.googleapis.com/log_type"!="supportability"
É possível ver o volume de registros do Dataflow ingeridos no Cloud Logging por meio do Metrics Explorer no Cloud Monitoring.
Compatibilidade
O Cloud Logging oferece a capacidade de excluir registros do processamento, mas talvez seja útil manter registros que ajudem na compatibilidade. O uso desses registros pode ajudar a resolver problemas e identificá-los rapidamente com seus aplicativos.
Por exemplo, os registros do sistema do GKE são úteis para solucionar problemas nos aplicativos e clusters do GKE porque eles são gerados para eventos que acontecem no cluster. Esses registros podem ajudar você a determinar se o código do seu aplicativo ou o cluster subjacente do GKE está causando o erro do aplicativo. Os registros do sistema do GKE também incluem o Kubernetes Audit Logging gerado pelo componente servidor da API Kubernetes, que inclui alterações feitas usando o comando kubectl e os eventos do Kubernetes.
Para o Dataflow, é recomendável que você faça a ingestão mínima dos registros do sistema (labels."dataflow.googleapis.com/log_type"="system") e de suporte (labels."dataflow.googleapis.com/log_type"="supportability"). Esses registros são essenciais para que os desenvolvedores possam observar e solucionar problemas nos pipelines do Dataflow, e os usuários podem não conseguir usar a página de detalhes "Job do Dataflow" para visualizar os registros do job.
Como visualizar filtros de exclusão
Para visualizar os filtros de exclusão atuais, faça o seguinte:
No menu do Logging, selecione Log Router.
No coletor que você quer visualizar, clique em Mais more_vert.
Selecione Ver detalhes do coletor.
Um painel exibe os detalhes do coletor, incluindo os filtros de exclusão. Neste exemplo, os detalhes do coletor
_Defaultsão mostrados.
Como editar exclusões
Edite os filtros de exclusão existentes para excluir mais ou menos entradas de registro.
No menu do Logging, selecione Log Router.
No coletor que você quer visualizar, clique em Mais more_vert.
Clique em Editar coletor.
Na seção Criar um filtro de exclusão, edite a expressão de filtro para corresponder às entradas de registro que você quer excluir.
Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.
Quando terminar, clique em Atualizar coletor.
Como remover exclusões
Para editar, desativar ou excluir um filtro de exclusão, siga o guia Como editar exclusões para excluir a exclusão de um coletor específico.
Exclusões na API
Para criar filtros de exclusão na API Logging, use o método projects.exclusions.create.
Há também métodos para visualizar, excluir e atualizar filtros de exclusão e para gerenciar exclusões de registros recebidos por organizações, contas de faturamento e pastas.
Para exemplos de consultas de registros que podem ser úteis em exclusões, acesse Amostra de consultas.
Amostras de exclusões na API
Para excluir menos de 100% das entradas de registro correspondentes, use a função sample em sua consulta de registros.
Como exportar registros excluídos
É possível exportar entradas de registro para o Cloud Storage, BigQuery ou Pub/Sub antes de excluí-las, para que você não perca permanentemente as entradas de registro excluídas.
Para iniciar a exclusão e a exportação, faça o seguinte:
Crie uma consulta que corresponda às entradas de registro que você quer excluir e exportar.
Dica: grave a consulta para que ela não corresponda aos registros de auditoria ativados por padrão. A correspondência dessas entradas de registro de auditoria não afeta exclusões, mas resulta na exportação de mais entradas de registro.
Crie um coletor de exportação usando sua consulta de registros e comece a exportar as entradas de registro correspondentes.
Crie um filtro de exclusão usando sua consulta de registros e comece a excluir as entradas de registro correspondentes.
Para interromper as exclusões e exportações, desative o filtro de exclusão antes de parar o coletor de exportação.
Para mais detalhes sobre como exportar registros, consulte Visão geral do roteamento e armazenamento: coletores.
Preços de exportação
Os registros exportados não estão sujeitos às cobranças do Cloud Logging, mas é possível que haja cobranças de destino. Para detalhes, consulte a página de preços do produto apropriado:
Observe também que, se você enviar e excluir os registros de fluxo da nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo da VPC serão aplicadas além das taxas de destino.
Solução de problemas
Esta seção fornece informações sobre problemas conhecidos associados a exclusões de registros.
Por que meu filtro de exclusão não está funcionando?
É possível encontrar uma situação em que é possível ver os registros no Explorador de registros que você excluiu. Você ainda verá esses registros se todas as condições a seguir forem verdadeiras:
Você está executando sua consulta no projeto do Google Cloud que gerou os registros.
Os registros excluídos foram enviados para um bucket de registros em um projeto do Cloud diferente.
Você tem acesso a visualizações no bucket de registro em que os registros foram enviados.
Nesse caso, é possível ver esses registros por padrão.
Para evitar ver esses registros no Explorador de registros, é possível refinar o escopo da pesquisa apenas para o projeto ou bucket de origem do Cloud.