Visão geral de roteamento e armazenamento

Nesta página, explicamos como o Cloud Logging processa entradas de registro e descrevemos os principais componentes do roteamento e armazenamento do Logging.

De modo geral, é assim que o Cloud Logging roteia e armazena entradas de registro:

Figura ilustrando como o Cloud Logging roteia as entradas de registros.

Roteador de registros

O Cloud Logging recebe entradas de registro por meio da API Cloud Logging em que elas passam pelo roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em relação aos filtros de inclusão e filtros de exclusão existentes que determinam se a entrada de registro precisa ser enviada. destinos de armazenamento, incluindo em buckets do Cloud Logging ou excluídos totalmente da ingestão pelo Cloud Logging. É possível usar coletores para rotear registros para vários destinos.

Para rotear registros de maneira confiável, o roteador de registros também armazena os registros temporariamente, o que armazena em buffer as interrupções temporárias em qualquer coletor. O armazenamento temporário do roteador do registro é diferente do armazenamento de longo prazo fornecido pelos buckets do Logging.

Coletores

Os coletores controlam como o Cloud Logging encaminha registros. O uso de coletores permite rotear alguns ou todos os registros para destinos compatíveis ou excluir as entradas de registro do armazenamento no Cloud Logging. Veja a seguir alguns dos motivos para controlar o roteamento dos seus registros:

  • Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
  • Para ferramentas de análise de Big Data nos registros.
  • Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.

O Cloud Logging fornece dois coletores de registros predefinidos para cada projeto do Google Cloud: _Required e _Default. Todos os registros gerados em um projeto do Google Cloud são processados automaticamente por meio desses dois coletores de registros e, em seguida, armazenados nos buckets de registro _Required e _Default. de dados.

Os coletores de registro agem de forma independente. Independentemente de como os coletores de registros predefinidos processam as entradas de registro, é possível criar seus próprios coletores de roteamento para rotear alguns ou todos os registros para vários destinos compatíveis ou excluir. completamente de serem armazenados pelo Cloud Logging.

Todas as entradas de registro gravadas na API Cloud Logging são transmitidas pelo Roteador de registros. Quando uma entrada de registro chega a um projeto do Cloud, uma pasta, uma conta de faturamento ou um recurso da organização, o Logging compara a entrada de registro aos filtros dos coletores associados ao recurso.

Dependendo da configuração do coletor de registros, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:

  • Armazenada no Cloud Logging e não encaminhada em outro lugar
  • Armazenada no Cloud Logging e roteada para um destino compatível
  • Não armazenado no Cloud Logging, mas roteado para um destino compatível
  • Nem armazenados no Cloud Logging nem roteados para outros lugares
    • Estes registros são totalmente excluídos

Os coletores encaminham os registros que pertencem aos recursos pai. Você geralmente cria coletores no nível do projeto do Google Cloud. Também é possível criar coletores agregados para combinar e rotear registros dos projetos, pastas e contas de faturamento do Cloud contidos em uma organização ou pasta do Google Cloud.

Não é possível rotear entradas de registro que o Logging recebeu antes da criação do coletor, porque o roteamento acontece apenas para novas entradas de registro. Se for necessário rotear as entradas de registro de forma retroativa, consulte Copiar registros.

Filtros de inclusão

Ao criar um coletor, você define um filtro de inclusão para selecionar quais registros serão incluídos no destino do coletor. Para criar filtros de inclusão, use a linguagem de consulta do Logging.

Se você não definir um filtro para um coletor, cada entrada de registro para o projeto do Cloud será roteada para o destino, a menos que seja explicitamente excluída por meio dos filtros de exclusão do coletor.

Filtros de exclusão

Ao criar um coletor, é possível definir vários filtros de exclusão para impedir que as entradas de registro correspondentes sejam roteadas para o destino do coletor ou ingeridas pelo Cloud Logging. Para criar filtros de exclusão, use a linguagem de consulta do Logging.

Os registros são excluídos após serem recebidos pela API Logging. Portanto, excluir os registros não reduz o número de chamadas de API entries.write.

As entradas de registro excluídas não ficam visíveis no Logs Explorer e não estão disponíveis para o Error Reporting nem para o Cloud Debugger.

As métricas com base em registros definidas pelo usuário são calculadas com base nas entradas de registro nos registros incluídos e excluídos. Para mais informações, consulte Monitorar seus registros.

Destinos possíveis

É possível usar o roteador de registros para rotear determinados registros para destinos compatíveis em qualquer projeto do Cloud. A geração de registros é compatível com os seguintes destinos de coletor:

  • Cloud Storage: arquivos JSON armazenados em buckets do Cloud Storage; oferece armazenamento barato e de longo prazo.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery. fornece recursos de análise de Big Data.
  • Pub/Sub: mensagens em formato JSON entregues a tópicos do Pub/Sub; é compatível com integrações de terceiros, como o Splunk, com o Logging.
  • Cloud Logging: entradas de registro mantidas em buckets de registro; fornece armazenamento no Cloud Logging com períodos de armazenamento personalizáveis.

Para mais informações sobre como rotear registros para destinos compatíveis, consulte Configurar coletores.

Buckets de registros

O Cloud Logging usa buckets de registro como contêineres nos projetos do Google Cloud para armazenar e organizar os dados dos registros. Os registros armazenados no Cloud Logging são indexados, otimizados e entregues para permitir a análise em tempo real. Essas são entidades de armazenamento diferentes dos buckets do Cloud Storage com nome parecido.

Para cada projeto do Cloud, o Logging cria automaticamente dois buckets de registro: _Required e _Default. O Logging cria automaticamente coletores de registro denominados _Required e _Default que, na configuração padrão, encaminham automaticamente os registros para os buckets correspondentes. É possível desativar ou limitar os registros que são roteados para o bucket de registros _Default.

Além disso, é possível criar buckets definidos pelo usuário para qualquer projeto do Google Cloud.

Você cria coletores para rotear todos os registros ou apenas um subconjunto deles para qualquer bucket de registro. Essa flexibilidade permite escolher o projeto do Cloud em que seus registros são armazenados e quais outros registros são armazenados com eles.

Para mais informações, consulte Configurar buckets de registro.

_Required bucket de registro

O Cloud Logging encaminha automaticamente os seguintes tipos de registros para o bucket _Required:

O Cloud Logging retém os registros neste bucket por 400 dias. Não é possível mudar esse período de armazenamento.

Não é possível modificar ou excluir o bucket _Required. Não é possível desativar o coletor _Required, que encaminha registros para o bucket _Required.

Os preços de processamento e de armazenamento não se aplicam aos dados de registros armazenados no bucket de registros _Required.

_Default bucket de registro

Qualquer entrada de registro que não seja ingerida pelo bucket _Required é encaminhada pelo coletor _Default para o bucket _Default, a menos que você desative ou edite o coletor _Default de dados. Para instruções sobre como modificar coletores, consulte Como gerenciar coletores.

Não é possível excluir o bucket _Default.

Os registros retidos no bucket _Default são retidos por 30 dias, a menos que você configure a retenção personalizada para o bucket.

Os preços do Cloud Logging se aplicam aos dados de registros mantidos no bucket _Default.

Buckets de registros definidos pelo usuário

Também é possível criar buckets de registros definidos pelo usuário em qualquer projeto do Cloud. Ao aplicar coletores de registros aos buckets de registros definidos pelo usuário, é possível rotear qualquer subconjunto de registros para qualquer bucket de registros, permitindo escolher em que projeto do Cloud os registros serão armazenados e quais outros registros serão armazenados com eles.

Por exemplo, em qualquer registro gerado no Projeto A, é possível configurar um coletor para rotear esse registro para buckets definidos pelo usuário no Projeto A ou do Projeto B.

Os preços do Cloud Logging se aplicam aos dados de registros mantidos nesse bucket, independentemente do tipo de registro.

É possível configurar a retenção personalizada para o bucket.

Para mais informações sobre como gerenciar os buckets de registros definidos pelo usuário, incluindo como excluí-los ou atualizá-los, consulte Configurar e gerenciar buckets de registros.

Regionalização

Ao criar o bucket de registros, é possível optar por armazenar os registros em qualquer uma das seguintes regiões:

Continente Regiões
Ásia asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-southeast1
Austrália australia-southeast1
Europa europe-central2
europe-north1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
América do Norte northamerica-northeast1
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
América do Sul southamerica-east1

Além dessas regiões, você também tem a opção de definir o local como global. Isso significa que não é necessário especificar onde seus registros serão armazenados fisicamente.

Política da organização

Crie uma política da organização para garantir que ela atenda às necessidades regulatórias e de conformidade. Com uma política da organização, é possível especificar em quais regiões sua organização pode criar novos buckets de registros. Também é possível impedir que sua organização crie novos buckets de registro em regiões especificadas.

O Cloud Logging não aplica a política da organização recém-criada ao seu bucket de registros atual. aplica apenas a política em novos buckets de registro.

Para informações sobre como criar uma política da organização baseada em local, consulte Restringir locais de recursos.

Retenção de registros

O Cloud Logging retém registros de acordo com as regras de retenção que se aplicam ao tipo de bucket de registros em que os registros são retidos.

É possível configurar o Cloud Logging para reter registros entre 1 e 3.650 dias. As regras de retenção personalizadas se aplicam a todos os registros de um bucket, independentemente do tipo de registro ou se ele foi copiado de outro local.

Para informações sobre como configurar regras de retenção para um bucket de registro, consulte Configurar a retenção personalizada.

Como interromper o processamento de registros

Para saber como interromper a ingestão de registros no seu projeto do Google Cloud, consulte Parar a ingestão de registros.

Visualizações de registro

As visualizações de registro permitem controlar quem tem acesso aos registros nos seus buckets.

O Cloud Logging cria automaticamente a visualização _AllLogs para cada bucket, que mostra todos os registros. O Cloud Logging também cria uma visualização para o bucket _Default chamado _Default, que mostra todos os registros, exceto os de auditoria de acesso a dados.

Como os buckets de registros podem conter registros de vários projetos do Cloud, talvez você queira controlar de quais projetos do Cloud diferentes usuários podem ver os registros. É possível criar visualizações de registros personalizadas, que oferecem controle de acesso mais granular para esses buckets.

Para mais informações, consulte Gerenciar visualizações de registro.

Métricas com base em registros

As métricas com base em registros são métricas do Cloud Monitoring que se baseiam no conteúdo das entradas de registro. Se o Cloud Logging receber uma entrada de registro de um projeto do Cloud que corresponda ao filtro de uma das métricas do projeto, essa entrada de registro será refletida nos dados da métrica.

Os filtros de exclusão de coletor não são aplicados a métricas com base em registros. Mesmo que você exclua os registros que estão sendo ingeridos pela API Cloud Logging e não estiverem armazenados em nenhum bucket de registros, será possível ver esses registros na métrica baseada em registros.

Para mais informações, consulte Visão geral das métricas com base em registros.

Limitações

Esteja ciente das seguintes limitações:

Preços

O Cloud Logging não cobra pela geração de registros, mas cobranças de destino podem ser aplicadas. Veja os detalhes de preços do serviço apropriado:

Além disso, se você enviar e depois excluir seus registros de fluxo de nuvem privada virtual do Cloud Logging, as cobranças de geração de registros de fluxo de VPC serão aplicadas além das cobranças de destino.

A seguir

Para ajudar você a rotear e armazenar dados do Cloud Logging, consulte os seguintes documentos: