Exclusões de registros

Esta página descreve como excluir registros do processamento usando o Console do Cloud e a API dos Registros.

A página Uso de recursos rastreia o volume de registros em seu projeto. O Roteador de registros oferece ferramentas para desativar o processamento de todos os registros ou excluir (descartar) entradas de registro em que você não tem interesse. Assim, é possível minimizar as cobranças dos registros na sua cota mensal. Para mais informações sobre como as entradas de registro excluídas são tratadas, acesse Como funcionam as exclusões nesta página.

Para detalhes sobre os custos do Cloud Logging, consulte Preços. Se você enviar e excluir seus registros de fluxo da nuvem privada virtual do Cloud Logging, serão aplicadas as cobranças de geração de registros de fluxo da VPC.

Monitorar o uso de registros

Para acompanhar o volume de registros do projeto, acesse a página Uso de recursos no console do Cloud Logging:

Vá para Uso de recursos.

A parte superior da página exibe um resumo das estatísticas dos registros que seu projeto está recebendo:

Estatísticas de resumo de uso de recursos

Quatro estatísticas são informadas:

  • Volume de registros processados no último mês: a quantidade de registros que o projeto recebeu no último mês.

  • Volume de registros processados deste mês: a quantidade de registros que seu projeto recebeu desde a primeira data do mês atual.

  • Volume de registros excluídos: a quantidade de registros que você excluiu do projeto desde a primeira data do mês atual. Esse número não está incluído no Volume de ingestão de registros deste mês. Veja a descrição da exclusão de registros mais adiante nesta página.

  • Projeção do volume de processamento de registros : a quantidade estimada de registros que o projeto receberá até o final do mês atual, com base no uso atual.

Os volumes de registro não incluem determinados registros de auditoria: todos os registros de auditoria de atividades do administrador e todos os registros de auditoria de eventos do sistema. Esses registros são gratuitos e não podem ser excluídos ou desativados.

O detalhamento do uso de registros por tipo de recurso também é exibido. Para detalhes, acesse Como visualizar exclusões de tipo de recurso nesta página.

Como funcionam as exclusões

O diagrama a seguir ilustra como as entradas de registro excluídas são tratadas no Cloud Logging:

Figura ilustrando como o Cloud Logging encaminha as entradas de registros.

As condições a seguir se aplicam a entradas de registros excluídas no Logging:

  • As entradas de registro excluídas não são contabilizadas na cota do Logging fornecida aos projetos. Consulte Preços do Logging para mais detalhes.

  • As entradas de registro excluídas não são visíveis no visualizador de registros. Elas não são contabilizadas nas métricas com base em registros e não estão disponíveis para o Error Reporting e nem para o Cloud Debugger.

  • É possível exportar as entradas de registro para fora do Cloud Logging usando coletores de registro que incluem destinos de coletor. Esses mesmos registros também podem ser excluídos da ingestão. Para mais informações, leia Exportações de registros.

  • Registros de auditoria que não podem ser desativados também não podem ser excluídos. No entanto, esses tipos de registros de auditoria são gratuitos.

Há dois tipos de exclusões:

  • Os filtros de exclusão oferecem a flexibilidade de selecionar entradas de registro para exclusão com base em expressões de filtro. Use filtros de exclusão para escolher uma amostra aleatória de entradas de registro a serem excluídas.

  • As exclusões de tipo de recurso permitem bloquear todos os registros de tipos de recursos específicos.

A geração de registros considera os dois tipos de exclusão ao decidir se deve ou não excluir uma entrada de registro. Se uma exclusão de tipo de recurso ou um filtro de exclusão corresponder à entrada de registro, essa entrada será excluída.

Ao criar filtros de exclusão, é possível controlar quais entradas de registro serão excluídas (descartadas). Por exemplo, é possível excluir as entradas de registro de uma única instância de VM em vez de todas as instâncias de VM.

Se você usar filtros de exclusão e exclusões de tipo de recurso ao mesmo tempo, eles poderão se sobrepor. Uma entrada de registro é excluída quando ela é de um tipo de recurso desativado ou corresponde a um dos filtros de exclusão discutidos nesta seção. Observe que essa é uma distinção técnica, já que, como mencionado anteriormente, o Logging implementa exclusões de tipo de recurso com filtros de exclusão.

A tabela por tipo de recurso na guia Ingestões da página Uso de recursos reflete as exclusões de tipo de recurso e os filtros de exclusão. Mesmo que você não use exclusões de tipo de recurso, essa tabela permite acompanhar o efeito dos filtros de exclusão.

Limites de exclusão

Você pode ter até 50 filtros de exclusão em um projeto. Esse limite inclui filtros de exclusão e exclusões de tipo de recurso criados no Console do Cloud Logging ou na API.

Programação de exclusão

Os registros são excluídos após serem recebidos pela API Logging. Portanto, a exclusão de registros não reduz o número de entries.write chamadas de API.

Como criar filtros de exclusão

É possível criar um filtro de exclusão para um novo coletor de registros ou para um coletor existente.

Como criar filtros de exclusão para um novo coletor

Para criar um filtro de exclusão para um novo coletor de registros usando o roteador de registros, faça o seguinte:

  1. Siga os procedimentos de Criar coletor.

  2. Na etapa Escolher registros para filtrar do coletor (opcional), é possível criar o filtro de exclusão para excluir os registros.

  3. Clique em Adicionar exclusão.

  4. Digite um nome no campo Nome do filtro de exclusão.

  5. Insira a Taxa de filtro de exclusão.

  6. Na seção Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir.

  7. Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.

  8. Quando terminar, clique em Criar coletor.

Como criar filtros de exclusão para um coletor existente

Para criar um filtro de exclusão para um coletor de registros existente usando o roteador de registros, faça o seguinte:

  1. No menu do Logging, selecione Roteador de registros.

    Acessar o roteador de registros

  2. No coletor que você quer adicionar o filtro de exclusão, clique em Mais .

  3. Clique em Editar coletor.

  4. Na seção Escolher registros para filtrar do coletor (opcional), crie o filtro de exclusão para excluir os registros.

  5. Clique em +Adicionar exclusão.

  6. Digite um nome no campo Nome do filtro de exclusão.

  7. Insira a Taxa de filtro de exclusão.

  8. Na seção Criar um filtro de exclusão, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir.

  9. Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.

  10. Quando terminar, clique em Atualizar coletor.

Ao criar um filtro, é possível encontrar uma das seguintes situações:

  • Se você editou o filtro para o coletor _Default, talvez queira restaurar o filtro padrão. Para fazer isso, insira o seguinte no campo Criar filtro de inclusão:

    NOT LOG_ID("cloudaudit.googleapis.com/activity") AND NOT \
    LOG_ID("externalaudit.googleapis.com/activity") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("externalaudit.googleapis.com/system_event") AND NOT \
    LOG_ID("cloudaudit.googleapis.com/access_transparency") AND NOT \
    LOG_ID("externalaudit.googleapis.com/access_transparency")
    
  • Talvez você queira encaminhar todos os registros para um destino sem excluí-los. Para fazer isso, deixe o campo Criar filtro de inclusão em branco.

  • Talvez você queira excluir todos os registros para chegar a um destino. Para fazer isso, desative o coletor nesse destino.

Como visualizar filtros de exclusão

Para visualizar os filtros de exclusão atuais, faça o seguinte:

  1. No menu do Logging, selecione Roteador de registros.

    Acessar o roteador de registros

  2. Para o coletor que você quer visualizar os filtros de exclusão, clique em Mais .

  3. Selecione Ver detalhes do coletor.

  4. Um painel exibe os detalhes do coletor, incluindo os filtros de exclusão.

    Imagem do painel

    Neste exemplo, os detalhes do _Default bucket são mostrados e o registro foi desativado, o que é indicado pelo filtro google-ui-logs-ingestion-off.

Como editar exclusões

Edite os filtros de exclusão existentes para excluir mais ou menos entradas de registro.

  1. No menu do Logging, selecione Roteador de registros.

    Acessar o roteador de registros

  2. No coletor que você quer visualizar, clique em Mais .

  3. Clique em Editar coletor.

  4. Na seção Criar um filtro de exclusão, edite a expressão de filtro para corresponder às entradas de registro que você quer excluir.

  5. Clique em Adicionar exclusão para adicionar outros filtros conforme necessário.

  6. Quando terminar, clique em Atualizar coletor.

Prática recomendada: não edite ou exclua filtros de exclusão criados pelo Logging como parte das exclusões de tipo de recurso. Gerencie esses filtros com as opções Desativar origem do registro e Ativar origem do registro na guia Ingestões.

Como remover exclusões

Para editar, desativar ou excluir um filtro de exclusão, siga o guia Como editar exclusões para excluir a exclusão de um coletor específico.

Como usar exclusões de tipo de recurso

Por padrão, seu projeto recebe todos os registros de todos os tipos de recursos. Para descartar todos esses registros, use exclusões de tipo de recurso.

As exclusões de tipo de recurso são um recurso do console do Cloud Logging. Quando você cria uma exclusão de tipo de recurso, o registro cria um filtro de exclusão que implementa a exclusão. Para mais informações, acesse Como as exclusões funcionam.

Como criar exclusões de tipo de recurso

Para excluir (descartar) todos os registros de um tipo de recurso específico, conclua as etapas Como criar filtros de exclusão para criar um filtro de exclusão para um coletor de registros novo ou atual.

Como visualizar exclusões de tipo de recurso

Para visualizar seu uso de registros por tipo de recurso e suas exclusões de tipo de recurso, faça o seguinte:

  1. Acesse a página Uso de recursos no console do Cloud Logging:

    Vá para Uso de recursos.

  2. Selecione a guia Ingestões (a padrão) nas estatísticas de resumo. A tabela Processamento de registros exibe o uso de registros por tipo de recurso:

    Tabela de uso de recursos

A tabela mostra informações sobre o uso de registros para cada tipo de recurso que enviou registros para seu projeto no mês atual e no anterior. Pode haver tipos de recursos que só enviaram registros no mês anterior, mas não neste mês, que também são listados nessa tabela.

A coluna Status da ingestão indica se há exclusões relacionadas a cada tipo de recurso. Os status possíveis são estes:

  • Sem ingestão: há uma ou mais exclusões segmentadas exatamente para esse tipo de recurso a uma taxa de amostragem de 100%. Isso significa que o filtro de exclusão consiste exatamente em resource.type=[THIS_RESOURCE_TYPE].

  • Todas com ingestão: nenhuma entrada de registro desse tipo de recurso foi excluída até agora neste mês, e não há exclusões segmentadas exatamente para esse tipo de recurso.

  • Processamento parcial: há uma ou mais exclusões segmentadas para esse tipo de recurso com uma taxa de amostragem entre 0% e 100%. Se alguma entrada de registro desse tipo de recurso foi excluída neste mês, esse status permanecerá até o final do mês, mesmo se todas as exclusões forem removidas. Para mais informações, acesse Edição de exclusões nesta página.

Como alternativa, você pode inspecionar exclusões de tipo de recurso na guia Exclusões. O Logging implementa exclusões de tipo de recurso criando filtros de exclusão. Para detalhes, acesse Como visualizar filtros de exclusão.

Exclusões na API

Para criar filtros de exclusão na API Logging, use o método projects.exclusions.create.

Também há métodos para visualizar, excluir e atualizar filtros de exclusão.

Há ainda métodos de exclusão na API para registros recebidos por organizações, contas de faturamento e pastas. Essas exclusões só podem ser criadas na API Logging. Elas não são compatíveis com o console do Cloud Logging.

Para exemplos de consultas de registros que podem ser úteis em exclusões, acesse Amostra de consultas.

Exclusões de tipo de recurso na API

As exclusões de tipo de recurso não são um tipo separado de exclusão na API. Para criar uma exclusão que descarta todas as entradas de registro de um determinado tipo de recurso, crie um filtro de exclusão com uma consulta de registros que especifique o tipo de recurso:

resource.type = [THE_RESOURCE_TYPE]

Amostras de exclusões na API

Para excluir menos de 100% das entradas de registro correspondentes, use a função sample em sua consulta de registros.

Como exportar registros excluídos

É possível exportar entradas de registro para o Cloud Storage, BigQuery ou Pub/Sub antes de excluí-las, para que você não perca permanentemente as entradas de registro excluídas.

Para iniciar a exclusão e a exportação, faça o seguinte:

  1. Crie uma consulta avançada de registros que corresponda às entradas de registro que você quer excluir e exportar.

    Dica: grave o filtro para que ele não corresponda a nenhum registro de auditoria ativado por padrão. A correspondência dessas entradas de registro de auditoria não afeta exclusões, mas resulta na exportação de mais entradas de registro.

  2. Crie um coletor de exportação usando sua consulta de registros e comece a exportar as entradas de registro correspondentes.

  3. Crie um filtro de exclusão usando sua consulta de registros e comece a excluir as entradas de registro correspondentes.

Para interromper as exclusões e exportações, desative o filtro de exclusão antes de parar o coletor de exportação.

Para mais detalhes sobre como exportar registros, consulte Como exportar registros.

Preços de exportação

Os registros exportados não estão sujeitos às cobranças do Cloud Logging, mas é possível que haja cobranças de destino. Para detalhes, consulte a página de preços do produto apropriado:

Observe também que, se você enviar e excluir os registros de fluxo da nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo da VPC serão aplicadas além das taxas de destino.