Visão geral de roteamento e armazenamento

Nesta página, explicamos como o Cloud Logging processa entradas de registro e descrevemos os principais componentes do roteamento e armazenamento do Logging.

De modo geral, é assim que o Cloud Logging roteia e armazena entradas de registro:

Figura ilustrando como o Cloud Logging roteia as entradas de registros.

Como ingerir e rotear registros com o roteador de registros

As seções a seguir explicam como os registros são ingeridos pelo Logging e roteados pelo roteador de registros usando coletores.

Roteador de registros

Uma entrada de registro é enviada para o Recurso do Google Cloud especificado nalogName campo durante entries.write.

O Cloud Logging recebe entradas de registro por meio da API Cloud Logging em que elas passam pelo roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em comparação com o filtro de inclusão e os filtros de exclusão atuais que determinam quais destinos. incluindo buckets do Cloud Logging, para os quais a entrada de registro precisa ser enviada. Use combinações de coletores para rotear registros para vários destinos.

Para rotear registros de maneira confiável, o roteador de registros também armazena os registros temporariamente, não representado na imagem, que armazena em buffer as interrupções temporárias em qualquer coletor. O armazenamento temporário do roteador de registros é diferente do armazenamento de longo prazo fornecido pelos buckets do Logging.

Coletores

Os coletores controlam como o Cloud Logging encaminha registros. Usando coletores, é possível rotear alguns ou todos os seus registros para destinos compatíveis. Estes são alguns dos motivos para você controlar como os registros são roteados:

  • Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
  • Para organizar os registros em buckets de um formato que seja útil.
  • Para ferramentas de análise de Big Data nos registros.
  • Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros.

Os coletores pertencem a um determinado recurso do Google Cloud: projetos, contas de faturamento, pastas e organizações do Cloud. Quando o recurso recebe uma entrada de registro, ele encaminha a entrada de registro de acordo com os coletores contidos nele e, se ativado, todos os coletores pertencentes à hierarquia de recursos. de dados. A entrada de registro é enviada para o destino associado a cada coletor correspondente.

O Cloud Logging fornece dois coletores predefinidos para cada projeto, conta de faturamento, pasta e organização do Cloud: _Required e _Default. Todos os registros gerados em um recurso são processados automaticamente por meio desses dois coletores e armazenados no nome correspondente._Required ou os_Default Baldes.

Os coletores funcionam de forma independente. Independentemente de como os coletores predefinidos processam as entradas de registro, é possível criar os próprios coletores para rotear alguns ou todos os registros para vários destinos compatíveis ou excluí-los de armazenado pelo Cloud Logging.

O comportamento de roteamento de cada coletor é controlado ao configurar o filtro de inclusão e os filtros de exclusão para esse coletor. Dependendo da configuração do coletor, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:

  • Armazenada no Cloud Logging e não roteada em outro lugar.

  • Armazenada no Cloud Logging e roteada para um destino compatível.

  • não está armazenado no Cloud Logging, mas foi roteado para um destino compatível.

  • nem armazenados no Cloud Logging nem roteados para outros lugares.

Geralmente, é possível criar coletores no nível do projeto do Cloud. No entanto, para combinar e rotear registros dos recursos contidos em uma organização ou pasta do Google Cloud, é possível criar. coletores agregados.

Não é possível rotear entradas de registro que o Logging recebeu antes da criação do coletor porque o roteamento acontece à medida que os registros são transmitidos pela API Logging, e novas regras de roteamento só se aplicam a registros gravados depois que essas regras são criadas de dados. Se você precisar rotear as entradas de registro de forma retroativa, consulte Copiar registros.

Filtros de inclusão

Para qualquer novo coletor, se você não especificar filtros, todos os registros corresponderão e serão roteados para o destino do coletor. Configure o coletor para selecionar registros específicos definindo um filtro de inclusão. Também é possível definir um ou mais filtros de exclusão para excluir registros do destino do coletor.

Ao configurar coletores, você cria filtros de inclusão usando a linguagem de consulta do Logging. Os coletores também podem conter vários filtros de exclusão.

Cada entrada de registro recebida pelo Logging é roteada com base nestas regras de filtragem:

  • Os filtros de exclusão do coletor modificam os filtros de inclusão definidos. Se um registro corresponder a qualquer filtro de exclusão no coletor, ele não corresponderá ao coletor, independentemente dos filtros de inclusão definidos. A entrada de registro não é roteada para o destino desse coletor.

  • Se o coletor não contiver um filtro de inclusão, ocorrerá o seguinte:

    • Se a entrada de registro corresponder a qualquer filtro de exclusão, ela não será roteada para o destino do coletor.
    • Se a entrada de registro não corresponder a nenhum filtro de exclusão, ela será roteada para o destino do coletor. Um filtro de inclusão vazio seleciona todos os registros.

  • Se o coletor tiver um filtro de inclusão, acontecerá o seguinte:

    • Se a entrada de registro corresponder ao filtro de inclusão, ela será roteada para o destino do coletor.
    • Se a entrada de registro não corresponder ao filtro de inclusão, ela não será roteada para o destino do coletor.

Filtros de exclusão

Ao criar um coletor, é possível definir vários filtros de exclusão para impedir que as entradas de registro correspondentes sejam roteadas para o destino do coletor ou ingeridas pelo Cloud Logging. Para criar filtros de exclusão, use a linguagem de consulta do Logging.

Os registros são excluídos após serem recebidos pela API Logging. Portanto, excluir os registros não reduz o número de chamadas de API entries.write.

As entradas de registro excluídas não estão disponíveis no Explorador de registros ou no Cloud Debugger.

As entradas de registro que não são roteadas para pelo menos um bucket de registro, seja explicitamente com filtros de exclusão ou porque não correspondem a nenhum coletor com um destino de armazenamento do Logging, também são excluídas do Error Reporting.

As métricas com base em registros definidas pelo usuário são calculadas com base nas entradas de registro nos registros incluídos e excluídos. Para mais informações, consulte Monitorar seus registros.

Destinos possíveis

É possível usar o roteador de registros para rotear determinados registros para destinos compatíveis em qualquer projeto do Cloud. A geração de registros é compatível com os seguintes destinos de coletor:

  • Cloud Storage: arquivos JSON armazenados em buckets do Cloud Storage; oferece armazenamento barato e de longo prazo.
  • BigQuery: tabelas criadas em conjuntos de dados do BigQuery. fornece recursos de análise de Big Data.
  • Pub/Sub: mensagens em formato JSON entregues a tópicos do Pub/Sub; é compatível com integrações de terceiros, como o Splunk, com o Logging.
  • Cloud Logging: entradas de registro mantidas em buckets de registro; fornece armazenamento no Cloud Logging com períodos de armazenamento personalizáveis.

Para mais informações sobre como rotear registros para destinos compatíveis, consulte Configurar coletores.

Como armazenar, visualizar e gerenciar registros

A seção a seguir detalha como os registros são armazenados no Cloud Logging e como você pode visualizá-los e gerenciá-los.

Buckets de registros

O Cloud Logging usa buckets de registros como contêineres nos projetos, contas de faturamento, pastas e organizações do Google Cloud para armazenar e organizar dados de registros. Os registros armazenados no Cloud Logging são indexados, otimizados e entregues para que você possa analisar os registros em tempo real. Os buckets do Cloud Logging são entidades de armazenamento diferentes dos buckets do Cloud Storage com nomes semelhantes.

Para cada projeto do Cloud, conta de faturamento, pasta e organização, o Logging cria automaticamente dois buckets de registro: _Required e _Default. O Logging cria automaticamente coletores chamados _Required e _Default que, na configuração padrão, encaminham registros para os buckets correspondentes.

É possível desativar o coletor Default, que encaminha registros para o bucket _Default. Para alterar o comportamento dos coletores Default criados para novos projetos ou pastas do Cloud criados na organização, defina as configurações padrão para sua organização.

Não é possível alterar as regras de roteamento para o bucket _Required.

Além disso, é possível criar buckets definidos pelo usuário para qualquer projeto do Cloud.

Você cria coletores para rotear todos os registros ou apenas um subconjunto deles para qualquer bucket de registro. Essa flexibilidade permite escolher o projeto do Cloud em que seus registros são armazenados e quais outros registros são armazenados com eles.

Para mais informações, consulte Configurar buckets de registro.

Bucket de registro _Required

O Cloud Logging encaminha automaticamente os seguintes tipos de registros para o bucket _Required:

O Cloud Logging retém os registros neste bucket por 400 dias. Não é possível mudar esse período de armazenamento.

Não é possível modificar ou excluir o bucket _Required. Não é possível desativar o coletor _Required, que encaminha registros para o bucket _Required.

Os preços de processamento e de armazenamento não se aplicam aos dados de registros armazenados no bucket de registros _Required.

Bucket de registro _Default

Qualquer entrada de registro que não seja ingerida pelo bucket _Required é encaminhada pelo coletor _Default para o bucket _Default, a menos que você desative ou edite o coletor _Default de dados. Para instruções sobre como modificar coletores, consulte Gerenciar coletores.

Não é possível excluir o bucket _Default.

Os registros retidos no bucket _Default são retidos por 30 dias, a menos que você configure a retenção personalizada para o bucket.

Os preços do Cloud Logging se aplicam aos dados de registros mantidos no bucket _Default.

Buckets de registros definidos pelo usuário

Também é possível criar buckets de registros definidos pelo usuário em qualquer projeto do Cloud. Ao aplicar coletores aos buckets de registros definidos pelo usuário, é possível rotear qualquer subconjunto de registros para qualquer bucket de registros, permitindo escolher em que projeto do Cloud seus registros serão armazenados e quais outros registros serão armazenados com elas.

Por exemplo, em qualquer registro gerado no Projeto A, é possível configurar um coletor para rotear esse registro para buckets definidos pelo usuário no Projeto A ou do Projeto B.

Os preços do Cloud Logging se aplicam aos dados de registros mantidos nesse bucket, independentemente do tipo de registro.

É possível configurar a retenção personalizada para o bucket.

Para mais informações sobre como gerenciar os buckets de registros definidos pelo usuário, incluindo como excluí-los ou atualizá-los, consulte Configurar e gerenciar buckets de registros.

Regionalização

Buckets de registro são recursos regionais. A infraestrutura que armazena, indexa e pesquisa seus registros está em uma localização geográfica específica. O Google gerencia essa infraestrutura para que os aplicativos estejam disponíveis de maneira redundante nas zonas dessa região.

Ao criar um bucket de registros ou definir uma política regional no nível da organização, é possível armazenar os registros em qualquer uma das seguintes regiões:

Continente Regiões
Ásia asia-east1
asia-east2
asia-northeast1
asia-northeast2
asia-northeast3
asia-south1
asia-south2
asia-southeast1
asia-southeast2
Austrália australia-southeast1
australia-southeast2
Europa europe-central2
europe-north1
europe-southwest1
europe-west1
europe-west2
europe-west3
europe-west4
europe-west6
europe-west8
europe-west9
América do Norte northamerica-northeast1
northamerica-northeast2
us-central1
us-east1
us-east4
us-west1
us-west2
us-west3
us-west4
América do Sul southamerica-east1
southamerica-west1

Além dessas regiões, defina o local como global, o que significa que você não precisa especificar onde seus registros são armazenados fisicamente.

Se você quiser aplicar automaticamente uma região de armazenamento específica aos buckets _Default e _Required criados na sua organização, configure um local de recurso padrão.

Para mais informações sobre a localização dos dados de registros, consulte Regionalidade de dados para o Cloud Logging.

Política da organização

Crie uma política da organização para garantir que sua organização atenda às necessidades regulatórias e de conformidade. Com uma política da organização, é possível especificar em quais regiões sua organização pode criar novos buckets de registro. Também é possível impedir que sua organização crie novos buckets de registro em regiões específicas.

O Cloud Logging não aplica a política da organização recém-criada em buckets de registros atuais. Ela aplica apenas a política em novos buckets de registros.

Para mais informações sobre como criar uma política da organização com base no local, consulte Restringir locais de recursos.

Além disso, é possível configurar um local de recurso padrão para escolher qual região de armazenamento será aplicada aos buckets _Default e _Required criados na organização.

Retenção

O Cloud Logging retém registros de acordo com as regras de retenção que se aplicam ao tipo de bucket de registros em que os registros são retidos.

É possível configurar o Cloud Logging para reter registros por 1 dia e até 3.650 dias. As regras de retenção personalizadas se aplicam a todos os registros de um bucket, independentemente do tipo de registro ou se ele foi copiado de outro local.

Para informações sobre como configurar regras de retenção para um bucket de registro, consulte Configurar a retenção personalizada.

Visualizações de registro

As visualizações de registro permitem controlar quem tem acesso aos registros nos seus buckets.

O Cloud Logging cria automaticamente a visualização _AllLogs para cada bucket, que mostra todos os registros. O Cloud Logging também cria uma visualização para o bucket _Default chamado _Default, que mostra todos os registros, exceto os de auditoria de acesso a dados.

Como os buckets de registros podem conter registros de vários projetos do Cloud, talvez você queira controlar de quais projetos do Cloud diferentes usuários podem ver os registros. É possível criar visualizações de registros personalizadas, que oferecem controle de acesso mais granular para esses buckets.

Para mais informações, consulte Gerenciar visualizações de registro.

Como usar registros no ecossistema do Google Cloud

A seção a seguir fornece informações sobre como usar registros no Google Cloud.

Métricas com base em registros

As métricas com base em registros são métricas do Cloud Monitoring que se baseiam no conteúdo das entradas de registro. Se o Cloud Logging receber uma entrada de registro de um projeto do Cloud que corresponda ao filtro de uma das métricas do projeto, essa entrada de registro será refletida nos dados da métrica.

Os filtros de exclusão de coletor aplicam-se às métricas do usuário definidas pelo sistema, que contam apenas os registros incluídos para ingestão pelo projeto do Cloud.

Os filtros de exclusão de coletor não se aplicam a métricas com base em registros definidas pelo usuário. Mesmo que você exclua os registros da ingestão da API Cloud Logging e eles não estejam armazenados em nenhum bucket do Logging, é possível ver esses registros contados nessas métricas.

As métricas com base em registros são aplicadas no nível do projeto do Cloud. Essas métricas são calculadas pelo roteador de registros e se aplicam apenas aos registros no projeto do Cloud em que são recebidos.

Para mais informações, consulte Visão geral das métricas com base em registros.

Como encontrar registros em destinos compatíveis

Para saber mais sobre o formato das entradas de registro roteadas e como os registros são organizados nos destinos, consulte Visualizar registros nos destinos do coletor.

Casos de uso comuns

Para abordar casos de uso comuns de roteamento e armazenamento de registros, consulte os seguintes documentos e tutoriais:

Requisitos de conformidade

Para práticas recomendadas sobre como usar o roteamento para governança de dados, consulte os seguintes documentos:

Controle de acesso com o IAM

Para informações sobre como usar os papéis e as permissões do gerenciamento de identidade e acesso (IAM) para controlar o acesso aos dados do Cloud Logging, consulte o Controle de acesso com o IAM.

Preços

Para entender os preços de ingestão e armazenamento, consulte as informações de preços do Cloud Logging.

O Cloud Logging não cobra pelo encaminhamento de registros, mas as taxas de destino podem ser aplicadas. Veja os detalhes de preços do serviço apropriado:

Observe também que, se você enviar e excluir os registros de fluxo da nuvem privada virtual do Cloud Logging, cobranças de geração de registros de fluxo da VPC serão aplicadas além das taxas de destino.

A seguir

Para ajudar você a rotear e armazenar dados do Cloud Logging, consulte os seguintes documentos: