A página Ingestão de registros no Stackdriver Logging monitora o volume de registros no projeto. A página também oferece ferramentas para desativar todos as ingestões ou excluir (descartar) as entradas de registro em que você não está interessado, a fim de permitir a minimização de quaisquer cobranças de registros sobre sua cota mensal. Para mais informações sobre como as entradas de registro excluídas são tratadas, consulte Visão geral de exclusões nesta página.
Para detalhes sobre os custos do Stackdriver Logging, consulte Preços do Stackdriver. Observe que, se você enviar e depois excluir seus registros de fluxo da nuvem privada virtual (VPC, na sigla em inglês) do Stackdriver Logging, serão aplicadas as taxas da geração de registros de fluxo da VPC.
Monitorar o uso de registros
Para monitorar o volume de registros do seu projeto, acesse a página Ingestão de Logs no console do Stackdriver Logging:
Acessar a página "Ingestão de registros"
Na parte superior da página, você verá um resumo das estatísticas dos registros que seu projeto está recebendo:
Quatro números são informados:
Volume da ingestão de registros no último mês: a quantidade de registros que o projeto recebeu no último mês.
Volume da ingestão de registros neste mês: a quantidade de registros que o projeto recebeu desde a primeira data do mês atual.
Volume de registros excluídos: a quantidade de registros que você excluiu do projeto desde a primeira data do mês atual. Esse número não está incluído no Volume de ingestão de registros deste mês. Veja a descrição da exclusão de registros mais adiante nesta página.
Projeção do volume de ingestão de registros : a quantidade estimada de registros que o projeto receberá até o final do mês atual, com base no uso atual.
Os volumes de registros não incluem os registros de auditoria ativados por padrão (todos os registros de atividade do administrador, além dos registros do BigQuery Data Access). Esses registros são gratuitos e não podem ser excluídos.
Você também pode ver o detalhamento no uso de registros por tipo de recurso. Consulte Como visualizar exclusões de tipo de recurso nesta página.
Como interromper a ingestão de todos os registros
Na página Ingestão de registros, faça o seguinte para desativar imediatamente a ingestão de todos os registros:
Acesse a página Ingestão de registros do console do Stackdriver Logging do projeto com os registros que você quer gerenciar.
Acima das estatísticas de resumo, clique no botão Registros ativados.
Você verá uma caixa de diálogo Desativar a ingestão de todos os registros?. Clique em Desativar registros.
Se a ingestão de todos os registros foi desativada com êxito, você verá as alterações a seguir no console do Stackdriver Logging:
- Agora, o botão em que você clicou no passo 2 contém o texto Registros desativados.
- Um banner é exibido na parte superior de cada página do console do Stackdriver Logging: o processamento de registros está desativado. Nenhum registro está sendo enviado ao Stackdriver Logging.
- Na guia Exclusões da página Processamento de registros, há um filtro chamado
google-ui-logs-ingestion-off. O valor de Porcentagem da exclusão dele é definido como 100%, e o Status de exclusão é Ativa.
Para reativar imediatamente a ingestão de registros, clique no botão Registros desativados acima das estatísticas de resumo. Agora o botão volta a conter o texto Registros ativados e o banner não é mais exibido no console do Stackdriver Logging.
Visão geral de exclusões
O diagrama a seguir ilustra como as entradas de registros excluídas são tratadas no Stackdriver Logging:
As seguintes condições se aplicam a entradas de registros excluídas no Logging:
Entradas de registro excluídas não contam para a cota do Logging fornecida para projetos. Veja mais em Detalhes do Logging.
As entradas de registro excluídas não ficam visíveis no Visualizador de registros, não são incluídas nas métricas com base em registros e não estão disponíveis para o Stackdriver Error Reporting ou o Stackdriver Debugger.
É possível exportar entradas de registro antes que elas sejam excluídas. Para saber mais informações, consulte Como exportar registros.
Não é possível excluir nenhum registro de auditoria ativado por padrão, mas os registros de auditoria ativados por padrão são gratuitos.
Não é possível excluir os registros do AWS ou qualquer registro proveniente de origens que não sejam o GCP.
Há dois tipos de exclusões:
Os filtros de exclusão oferecem a flexibilidade de selecionar entradas de registro para exclusão com base em expressões de filtro. Use filtros de exclusão para escolher uma amostra aleatória de entradas de registro a serem excluídas. Para saber mais detalhes, consulte Como usar filtros de exclusão.
As exclusões de tipo de recurso permitem bloquear todos os registros de tipos de recursos específicos. Para saber detalhes, consulte Como usar exclusões de tipo de recurso.
Ao decidir se exclui ou não uma entrada de registro, o Stackdriver Logging leva em consideração os dois tipos de exclusões. Se uma exclusão de tipo de recurso ou um filtro de exclusão corresponder à entrada de registro, essa entrada será excluída.
Como usar filtros de exclusão
Ao criar filtros de exclusão, é possível controlar exatamente quais entradas de registro serão excluídas (descartadas). Por exemplo, é possível excluir as entradas de registro de uma única instância de VM em vez de todas as instâncias de VM.
Se você usar filtros de exclusão e exclusões de tipo de recurso ao mesmo tempo, eles poderão se sobrepor. Uma entrada de registro é excluída quando ela é de um tipo de recurso desativado ou corresponde a um dos filtros de exclusão discutidos nesta seção. Observe que essa é uma distinção técnica, já que, como mencionado anteriormente, o Logging implementa exclusões de tipo de recurso com filtros de exclusão.
A tabela por tipo de recurso na guia Ingestões da página Ingestão de logs reflete as exclusões de tipo de recurso e os filtros de exclusão. Mesmo que você não use exclusões de tipo de recurso, essa tabela permite monitorar o efeito dos filtros de exclusão.
Como visualizar filtros de exclusão
Para visualizar os filtros de exclusão atuais, inclusive os criados pelo Logging para implementar as exclusões de tipo de recurso, siga estas etapas:
Acesse a página Ingestão de registros do console do Stackdriver Logging. Selecione o projeto com os registros que você quer gerenciar.
Nas estatísticas de resumo, clique na guia Exclusões. Na tabela Filtros de exclusão, você vê uma lista dos filtros de exclusão (se houver):
Se você tiver interrompido o processamento de todos os registros, a lista incluirá um filtro de exclusão chamado google-ui-logs-ingestion-off. Ele pode ser editado, excluído ou desativado pelo menu à direita do filtro.
Como criar filtros de exclusão
Para criar um filtro de exclusão usando o console do Stackdriver Logging, siga estes passos:
Acesse a página Ingestão de registros do console do Stackdriver Logging e selecione a guia Exclusões.
Clique em Criar exclusão. Você vê o Editor de exclusão ao lado do painel "Visualizador de registros":
Nesse painel, insira uma expressão de filtro que corresponda às entradas de registro que você quer excluir. Para saber mais informações sobre o painel, consulte Interfaces do usuário.
No Editor de exclusão, conclua o filtro de exclusão preenchendo as caixas de texto:
- Nome: um nome que identifica a exclusão, como
low-severity. - Descrição: uma descrição mais longa do filtro, como
Exclude logs whose severity is less than WARNING. - Porcentagem a ser excluída: insira um inteiro ou de ponto flutuante de 0 a 100. Por exemplo, insira
100ou100.0para excluir todas as entradas de registro correspondentes. Insira99.50para excluir 99,5% das entradas correspondentes, mas manter 0,5% delas no Logging.
- Nome: um nome que identifica a exclusão, como
Clique em Criar exclusão para criar e iniciar a exclusão.
Dica: se quiser evitar o uso do filtro de exclusão, selecione Desativar exclusão no menu à direita do filtro de exclusão. Também é possível editar ou excluir o filtro de exclusão no mesmo menu.
Como interromper exclusões
Deixe de excluir alguns ou todos os registros de várias maneiras:
Para deixar de excluir todos os registros: na página Ingestão de registros, clique no botão Registros desativados na parte superior da página. Se você tiver desativado a ingestão de todos os registros anteriormente, o botão mudará de **Registros desativados para Registros ativados. Consulte os detalhes em Como parara ingestão de registros.
Para deixar de excluir por tipo de recurso: na guia Ingestões da página Ingestão de registros, clique em Ativar origem do registro no menu à direita de um tipo de recurso que você quer deixar de excluir.
Para editar, desativar ou excluir um filtro de exclusão: na guia Exclusões da página Ingestão de registros, use o menu à direita de qualquer filtro de exclusão destinado às entradas de registro que você quer receber. Consulte os detalhes em Como editar exclusões.
Dica: verifique todos os filtros de exclusão porque as mesmas entradas de registro podem ser direcionadas por mais de um filtro.
Como editar exclusões
Edite os filtros de exclusão existentes para excluir mais ou menos entradas de registro.
Acesse a página Ingestão de registros no console do Stackdriver Logging e clique na guia Exclusões.
Escolha um filtro de exclusão e selecione Editar exclusão no menu à direita da listagem de filtros.
Altere o filtro de registros avançados ou o valor Porcentagem a ser excluída. Se você alterar o filtro, verifique a visualização das entradas de registro correspondentes. Não é possível alterar o nome de um filtro de exclusão atual.
Clique em Atualizar exclusão.
Prática recomendada: não edite ou exclua filtros de exclusão criados pelo Logging como parte das exclusões de tipo de recurso. Gerencie esses filtros com as opções Desativar origem do registro e Ativar origem do registro na guia Ingestões.
Como usar exclusões de tipo de recurso
Por padrão, seu projeto recebe todos os registros de todos os tipos de recursos. Para descartar todos esses registros, use exclusões de tipo de recurso.
Essa é uma funcionalidade do console do Stackdriver Logging. Quando você cria uma exclusão de tipo de recurso, o registro cria um filtro de exclusão que implementa a exclusão. Para mais informações, consulte Como usar filtros de exclusão.
Como visualizar exclusões de tipo de recurso
Para visualizar o uso de registros por tipo de recurso e ver as exclusões de tipo de recurso, siga estas etapas:
Acesse a página Ingestão de registros no console do Stackdriver Logging:
Selecione a guia Ingestões (a padrão) nas estatísticas de resumo. Na tabela Ingestão de registros, você vê o uso de seus registros por tipo de recurso:
A tabela mostra informações sobre o uso de registros para cada tipo de recurso que enviou registros para seu projeto no mês atual e no anterior. Pode haver tipos de recursos que só enviaram registros no mês anterior, mas não neste mês, que também são listados nessa tabela.
A coluna Status da ingestão indica se há exclusões relacionadas a cada tipo de recurso. Os status possíveis são estes:
Sem ingestão: há uma ou mais exclusões segmentadas exatamente para esse tipo de recurso a uma taxa de amostragem de 100%. Isso significa que o filtro de exclusão consiste exatamente em
resource.type=[THIS_RESOURCE_TYPE].Todas com ingestão: nenhuma entrada de registro desse tipo de recurso foi excluída até agora neste mês, e não há exclusões segmentadas exatamente para esse tipo de recurso.
Ingestão parcial: há uma ou mais exclusões segmentadas para esse tipo de recurso com uma taxa de amostragem entre 0% e 100%. Se alguma entrada de registro desse tipo de recurso foi excluída neste mês, esse status permanecerá até o final do mês, mesmo se todas as exclusões forem removidas. Para saber mais, consulte Como editar exclusões.
Como alternativa, você pode inspecionar exclusões de tipo de recurso na guia Exclusões. O Logging implementa exclusões de tipo de recurso criando filtros de exclusão. Consulte Como visualizar filtros de exclusão.
Como criar exclusões de tipo de recurso
Para excluir (descartar) todos os registros de um tipo de recurso específico, crie uma exclusão de tipo de recurso. Siga estas etapas:
Acesse a página Ingestão de registros no console do Stackdriver Logging:
Selecione a guia Ingestões (a padrão) abaixo das estatísticas de resumo. Na tabela Ingestão de registros, você vê o uso dos registros por tipo de recurso, conforme mostrado na captura de tela da seção anterior.
Localize a linha da tabela referente ao tipo de recurso que você quer excluir.
Selecione Criar filtro de exclusão neste recurso no menu à direita da linha da tabela.
No Editor de exclusão, conclua o filtro de exclusão preenchendo as caixas de texto:
- Nome: um nome que identifica a exclusão, como
low-severity. - Descrição: uma descrição mais longa do filtro, como
Exclude logs whose severity is less than WARNING. - Porcentagem a ser excluída: insira um inteiro ou de ponto flutuante de 0 a 100. Por exemplo, insira
100ou100.0para excluir todas as entradas de registro correspondentes. Insira99.50para excluir 99,5% das entradas correspondentes, mas manter 0,5% delas no Logging.
- Nome: um nome que identifica a exclusão, como
Clique em Criar exclusão para criar e iniciar a exclusão.
Para parar de excluir registros do tipo de recurso, clique em Ativar origem do registro no menu.
Exclusões na API
Para criar filtros de exclusão na Stackdriver Logging API, use o método projects.exclusions.create. Também há métodos para visualizar, excluir e atualizar filtros de exclusão.
Há ainda métodos de exclusão na API para registros recebidos por organizações, contas de faturamento e pastas. Essas exclusões só podem ser criadas na API Stackdriver Logging. Elas não são compatíveis com o console do Stackdriver Logging.
Para ver exemplos de filtros de registros que podem ser úteis em exclusões, consulte Filtros de registros avançados.
Exclusões de tipo de recurso na API
As exclusões de tipo de recurso não são um tipo separado de exclusão na API. Para criar uma exclusão que descarte todas as entradas de registro de um determinado tipo de recurso, crie um filtro de exclusão com um filtro de registros que especifique o tipo de recurso:
resource.type = [THE_RESOURCE_TYPE]
Amostras de exclusões na API
Para excluir menos de 100% das entradas de registro correspondentes, use a função sample no filtro de registros.
Limites de exclusão
Você pode ter até 50 filtros de exclusão em um projeto. Isso inclui filtros de exclusão e exclusões de tipo de recurso criados no console do Stackdriver Logging ou na API.
Como exportar registros excluídos
É possível exportar entradas de registro para o Cloud Storage, BigQuery ou Cloud Pub/Sub antes de excluí-las, para que você não perca permanentemente as entradas de registro excluídas.
Os registros exportados geram cobranças de destino. Observe também que, se você enviar e depois excluir seus registros de fluxo da nuvem privada virtual (VPC, na sigla em inglês) do Stackdriver Logging, serão aplicadas, além das taxas de destino, as taxas da geração de registros de fluxo de VPC.
Para iniciar a exclusão e a exportação, faça o seguinte:
Crie um filtro de registros avançados que corresponda às entradas de registro que você quer excluir e exportar.
Dica: grave o filtro para que ele não corresponda a nenhum registro de auditoria ativado por padrão. A correspondência dessas entradas de registro de auditoria não afeta exclusões, mas resulta na exportação de mais entradas de registro.
Crie um coletor de exportação usando seu filtro de registros e comece a exportar as entradas de registro correspondentes.
Crie um filtro de exclusão usando seu filtro de registros e comece a excluir as entradas de registro correspondentes.
Para interromper as exclusões e exportações, desative o filtro de exclusão antes de parar o coletor de exportação.
Para mais detalhes sobre como exportar registros, consulte Como exportar registros.
