Visão geral de roteamento e armazenamento

Esta página explica como o Cloud Logging processa entradas de registro e descreve os principais componentes do roteamento e armazenamento do Logging.

Em um nível mais detalhado, o Cloud Logging roteia e armazena entradas de registro:

Figura ilustrando como o Cloud Logging roteia as entradas de registros.

Roteador de registros

O Cloud Logging recebe entradas de registro por meio da API Cloud Logging, em que passam pelo roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em relação aos filtros de inclusão e exclusão existentes que determinam se a entrada precisa ser enviada para destinos de armazenamento, incluindo buckets do Cloud Logging, ou excluídas completamente do processamento por Cloud Logging. Você pode usar coletores para encaminhar registros para vários destinos.

Para rotear os registros de maneira confiável, o roteador de registros também armazena os registros temporariamente, o que armazena buffers em interrupções temporárias em qualquer coletor. O armazenamento temporário do roteador de registros é diferente do armazenamento de longo prazo fornecido pelos buckets do Logging.

Coletores de registros

Os coletores encaminham entradas de registro para destinos de armazenamento e também são usados para excluir entradas de registro da gravação no Cloud Logging. Os coletores de registro combinam uma expressão de filtro e um destino.

O Cloud Logging fornece dois coletores de registro predefinidos para cada projeto do Google Cloud: _Required e _Default. Todos os registros gerados em um projeto do Google Cloud são processados automaticamente por meio desses dois coletores de registro e, em seguida, armazenados nos buckets de registro correspondentes _Required e _Default. para começar.

Os coletores de registro funcionam independentemente um do outro. Independentemente de como os coletores de registro predefinidos processam suas entradas de registro, é possível criar seus próprios coletores de registro para rotear alguns ou todos os registros para vários destinos compatíveis ou para excluir a partir do Cloud Logging.

Dependendo da configuração do coletor de registros, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:

  • Armazenado no Cloud Logging e não roteado em outro lugar
  • Armazenado no Cloud Logging e roteado para um destino compatível
  • Não armazenado no Cloud Logging, mas roteado para um destino compatível
  • Nem armazenadas no Cloud Logging nem roteados em outro lugar
    • Esses registros são totalmente excluídos

É possível criar coletores no nível do projeto do Google Cloud. Para configurar os coletores nos níveis da organização ou pasta, use coletores agregados.

Para saber mais, consulte Visão geral das exportações de registros.

Filtros de exclusão

Cada coletor permite que você insira um ou mais filtros de exclusão, o que permite impedir a entrada de entradas de registro correspondentes no destino do coletor.

Para mais informações sobre o uso de filtros de exclusão, consulte Exclusões de registros.

Destinos possíveis

É possível usar o roteador de registros para rotear determinados registros para destinos compatíveis em qualquer projeto do Cloud. O Logging é compatível com os seguintes destinos de coletor:

  • Cloud Storage: arquivos formatados em JSON armazenados em buckets do Cloud Storage.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery.
  • Pub/Sub: mensagens formatadas em JSON entregues a tópicos de Pub/Sub. Compatível com integrações de terceiros, como o Splunk, com o Logging.
  • Cloud Logging: entradas de registro armazenadas em buckets de registro.

Para mais informações sobre como rotear registros para destinos compatíveis, consulte Como configurar coletores.

buckets de registro

O Cloud Logging usa buckets de registro como contêineres nos projetos do Google Cloud para armazenar e organizar os dados dos registros. Os registros armazenados no Cloud Logging são indexados, otimizados e entregues para que você possa analisá-los em tempo real. Essas são entidades de armazenamento diferentes dos buckets do Cloud Storage nomeados de maneira semelhante.

É possível criar coletores para encaminhar todos, ou apenas um subconjunto, dos registros para qualquer bucket. Essa flexibilidade permite escolher o projeto do Cloud em que seus registros são armazenados e quais outros registros são armazenados com eles.

O Cloud Logging fornece todos os projetos do Cloud com os buckets de registro _Required e _Default. Na configuração padrão, todos os registros gerados em um projeto do Cloud são armazenados nos buckets de registros _Required e _Default, que residem no projeto do Cloud em que os registros são gerados. Também é possível criar buckets de registros personalizados.

Para mais informações, consulte Como gerenciar buckets de registro.

Visualizações de registro

Com as visualizações de registro, você pode controlar quem tem acesso aos registros dentro dos seus buckets de registros.

O Cloud Logging cria automaticamente a visualização _AllLogs para cada bucket, que mostra todos os registros. O Cloud Logging também cria uma visualização para o bucket _Default chamado _Default, que mostra todos os registros, exceto os de auditoria de acesso a dados.

Como os buckets de registro podem conter registros de vários projetos do Cloud, talvez você queira controlar de quais projetos do Cloud os usuários podem visualizar os registros. É possível criar visualizações de registro personalizadas, que oferecem um controle de acesso mais granular para esses buckets.

Para mais informações, consulte Como gerenciar visualizações de registro.

Métricas com base em registros

As métricas com base em registros são métricas do Cloud Monitoring que são baseadas no conteúdo das entradas de registro. Se o Cloud Logging receber uma entrada de registro para um projeto do Cloud correspondente ao filtro de uma das métricas do projeto, essa entrada de registro será refletida nos dados da métrica.

Os filtros de exclusão de coletores não são aplicados a métricas com base em registros. Mesmo que você exclua os registros da ingestão da API Cloud Logging, e eles não sejam armazenados em nenhum bucket de registros, é possível ver esses registros contados nas métricas com base em registros.

Para mais informações, consulte Visão geral das métricas com base em registros.

A seguir