Este documento explica como o Cloud Logging processa entradas de registro e descreve os principais componentes do roteamento e armazenamento do Logging. Roteamento se refere ao processo que o Cloud Logging usa para determinar o que fazer com uma entrada de registro recém-chegada. É possível rotear entradas de registro para destinos, como buckets de registro, que armazenam a entrada de registro, ou para o Pub/Sub. Para exportar os registros para destinos de terceiros, roteie os registros para um tópico do Pub/Sub e autorize o destino de terceiros a se inscrever no tópico do Pub/Sub.
De modo geral, é assim que o Cloud Logging roteia e armazena entradas de registro:
Encaminhar registros com o roteador de registros
As seções a seguir explicam como o Logging roteia registros com o Log Router usando coletores.
Roteador de registros
Uma entrada de registro é enviada para o
Recurso do Google Cloud
especificado nalogName campo
durante
entries.write.
O Cloud Logging recebe entradas de registro com a API Cloud Logging em que elas passam pelo roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em relação ao filtro de inclusão e filtros de exclusão e, em seguida, determinam para quais destinos, incluindo buckets do Cloud Logging, a entrada de registro precisa ser enviada. Use combinações de coletores para encaminhar uma entrada de registro para vários destinos.
O Log Router armazena a entrada de registro temporariamente. Esse comportamento armazena interrupções e falhas temporárias que podem ocorrer quando um coletor encaminha uma entrada de registro para um destino. O buffer não protege contra erros de configuração do sink. Se o coletor estiver configurado incorretamente, ele não vai rotear as entradas de registro. Um registro de erro será gerado e um e-mail será enviado notificando você sobre um erro de configuração do coletor. Quando as entradas de registro não podem ser roteadas, elas são descartadas.
O armazenamento temporário do roteador de registros é diferente do armazenamento de longo prazo fornecido pelos buckets do Logging.
As entradas de registro recebidas com carimbos de data/hora que são mais antigos do que o período de retenção de registros ou que estão mais de 24 horas no futuro são descartadas.
Coletores
Os coletores controlam como o Cloud Logging encaminha registros. Usando coletores, é possível rotear alguns ou todos os seus registros para destinos compatíveis. Estes são alguns dos motivos para você controlar como os registros são roteados:
- Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
- Para organizar os registros em buckets de um formato que seja útil.
- Para ferramentas de análise de Big Data nos registros.
- Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros. Por exemplo, se você quiser exportar seus registros do Google Cloud para visualizá-los em uma plataforma de terceiros, configure um coletor para encaminhar as entradas de registro para o Pub/Sub.
Os coletores pertencem a um determinado recurso do Google Cloud: projetos, contas de faturamento, pastas e organizações do Google Cloud. Quando o recurso recebe uma entrada de registro, ele encaminha a entrada de registro de acordo com os coletores contidos nele e, se ativado, todos os coletores pertencentes à hierarquia de recursos. de dados. A entrada de registro é enviada para o destino associado a cada coletor correspondente.
O Cloud Logging fornece dois coletores predefinidos para cada projeto,
conta de faturamento, pasta e organização do Google Cloud: _Required e _Default. Todos os registros gerados em um recurso são processados automaticamente por meio desses dois coletores e armazenados no nome correspondente._Required ou os_Default Baldes.
Os coletores funcionam de forma independente. Independentemente de como os coletores predefinidos processam as entradas de registro, é possível criar os próprios coletores para rotear alguns ou todos os registros para vários destinos compatíveis ou excluí-los de armazenado pelo Cloud Logging.
As entradas de registro roteadas por um coletor são controladas ao configurar o filtro de inclusão e os filtros de exclusão do coletor. Dependendo da configuração do coletor, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:
Armazenada no Cloud Logging e não roteada em outro lugar.
Armazenada no Cloud Logging e roteada para um destino compatível.
não está armazenado no Cloud Logging, mas foi roteado para um destino compatível.
nem armazenados no Cloud Logging nem roteados para outros lugares.
Geralmente, é possível criar coletores no nível do projeto do Google Cloud. No entanto, para combinar e rotear registros dos recursos contidos em uma organização ou pasta do Google Cloud, é possível criar coletores agregados.
Os coletores só roteiam entradas de registro que chegam após a criação do coletor porque o roteamento acontece à medida que os registros são transmitidos pela API Logging. Se você precisar rotear as entradas de registro de forma retroativa, consulte Copiar registros.
Filtros de inclusão
Quando um coletor não especifica filtros, todas as entradas de registro correspondem e são roteadas para o destino do coletor. Configure o coletor para selecionar entradas de registro específicas definindo um filtro de inclusão. Também é possível definir um ou mais filtros de exclusão para impedir que as entradas de registro sejam roteadas.
Ao configurar um coletor, você especifica os filtros dele usando a linguagem de consulta do Logging.
Uma entrada de registro é roteada por um coletor com base nestas regras:
Se a entrada de registro não corresponder ao filtro de inclusão, ela não será roteada. Quando um coletor não especifica um filtro de inclusão, todas as entrada de registro correspondem a esse filtro.
Se a entrada de registro corresponder ao filtro de inclusão e a pelo menos um filtro de exclusão, ela não será roteada.
Se a entrada de registro corresponder ao filtro de inclusão e não corresponder a nenhum filtro de exclusão, ela será roteada para o destino do coletor.
Filtros de exclusão
Ao criar um coletor, é possível definir vários filtros de exclusão. Os filtros de exclusão permitem que você exclua entradas de registro que correspondem ao filtro de inclusão de serem roteadas para o destino do coletor ou armazenadas em um bucket de registros. Para definir filtros de exclusão, use a linguagem de consulta do Logging.
As entradas de registro excluídas consomem a cota da API entries.write porque são excluídas após serem recebidas pela API Logging.
Não é possível reduzir o número de
chamadas de API entries.write
excluindo entradas de registro.
As entradas de registro excluídas não estão disponíveis no Logs Explorer.
As entradas de registro que não são roteadas para pelo menos um bucket de registros, seja explicitamente com filtros de exclusão ou porque não correspondem a nenhum coletor com um destino de armazenamento do Logging, também são excluídas do Error Reporting. Portanto, essas entradas de registro não estão disponíveis para ajudar a resolver falhas. As métricas com base em registros definidas pelo usuário são calculadas com base nas entradas de registro incluídas e excluídas. Para mais informações, consulte Monitorar seus registros.Destinos possíveis
É possível usar o Roteador de registros para rotear determinadas entradas de registro para destinos compatíveis em qualquer projeto do Google Cloud. A geração de registros é compatível com os seguintes destinos de coletor:
Bucket do Cloud Logging: oferece armazenamento no Cloud Logging. Um bucket de registro pode armazenar entradas de registro recebidas por vários projetos do Google Cloud. O bucket de registros pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. Para informações sobre como visualizar entradas de registro armazenadas em buckets de registro, consulte Visão geral dos registros de consulta e visualização e Visualizar registros roteados para buckets do Cloud Logging.
É possível combinar seus dados do Cloud Logging com outros dados atualizando um bucket de registros para usar a Análise de dados de registros e, em seguida, criando um conjunto de dados vinculado, que é um conjunto de dados somente leitura que pode ser consultado pelas páginas BigQuery Studio e Looker Studio.
Conjunto de dados do BigQuery: oferece armazenamento de entradas de registro em um conjunto de dados do BigQuery gravável. O conjunto de dados do BigQuery pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. É possível usar os recursos de análise de Big Data nas entradas de registro armazenadas. Para saber como visualizar entradas de registro roteadas para o BigQuery, consulte Conferir registros roteados para o BigQuery.
- Bucket do Cloud Storage: armazena entradas de registro no Cloud Storage. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON. Para informações sobre como visualizar entradas de registro roteadas para o Cloud Storage, consulte Visualizar registros roteados para o Cloud Storage.
Tópico do Pub/Sub: oferece suporte a integrações de terceiros. As entradas de registro são formatadas em JSON e encaminhadas para um tópico do Pub/Sub. O tópico pode estar no mesmo projeto em que as entradas de registro originam ou em um projeto diferente. Para informações sobre como conferir as entradas de registro roteadas para o Pub/Sub, consulte Conferir registros roteados para o Pub/Sub.
Projeto do Google Cloud: roteie entradas de registro para outro projeto do Google Cloud. Nessa configuração, os coletores no projeto de destino processam as entradas de registro.
Para mais informações, consulte Rotear registros para destinos compatíveis.
Como armazenar, visualizar e gerenciar registros
A seção a seguir detalha como os registros são armazenados no Cloud Logging e como você pode visualizá-los e gerenciá-los.
Buckets de registros
O Cloud Logging usa buckets de registros como contêineres nos projetos, contas de faturamento, pastas e organizações do Google Cloud para armazenar e organizar dados de registros. As entradas de registro armazenadas no Cloud Logging são indexadas, otimizadas e entregues para que você possa analisar os registros em tempo real. Os buckets do Cloud Logging são entidades de armazenamento diferentes dos buckets do Cloud Storage com nomes semelhantes.
Para cada projeto do Google Cloud, conta de faturamento, pasta e organização,
o Logging cria automaticamente dois buckets de registro: _Required e
_Default. A geração de registros cria automaticamente coletores chamados
_Required e _Default que, na configuração padrão, encaminham
entradas de registro para os buckets correspondentes.
É possível desativar o coletor _Default, que encaminha entradas de registro para o bucket de registros _Default. Também é possível mudar o comportamento dos coletores _Default criados para
qualquer novo projeto ou pasta do Google Cloud. Para mais informações, consulte
Definir configurações padrão para organizações e pastas.
Não é possível alterar as regras de roteamento para o bucket _Required.
Além disso, é possível criar buckets definidos pelo usuário para qualquer projeto do Google Cloud.
Você cria coletores para rotear todas as entradas de registro ou apenas um subconjunto delas para qualquer bucket de registros. Essa flexibilidade permite escolher o projeto do Google Cloud em que suas entradas de registro são armazenadas e armazenar entradas de registro de vários recursos em um local.
Para mais informações, consulte Configurar buckets de registro.
Bucket de registro _Required
O Cloud Logging encaminha automaticamente os seguintes tipos de entradas de registro para o bucket _Required:
- Registros de auditoria de atividade do administrador
- Registros de auditoria de eventos do sistema
- Registros de auditoria do administrador do Google Workspace
- Registros de auditoria do Grupos do Google Enterprise
- Registros de auditoria de login
- Registros de transparência no acesso Para saber como ativar os registros de transparência no acesso, consulte a documentação de registros de transparência no acesso.
O Cloud Logging retém as entradas de registro no bucket _Required por 400 dias. Não é possível mudar esse período de armazenamento.
Não é possível modificar ou excluir o bucket _Required. Não é possível desativar o
coletor _Required, que encaminha entradas de registro para o bucket _Required.
Bucket de registro _Default
Qualquer entrada de registro que não seja armazenada no bucket _Required é encaminhada pelo
coletor _Default para o bucket _Default, a menos que você desative ou edite o coletor _Default. Para instruções sobre como modificar coletores, consulte
Gerenciar coletores.
Por exemplo, o Cloud Logging encaminha automaticamente os seguintes tipos de
entradas de registro para o bucket _Default:
O Cloud Logging retém as entradas de registro no bucket _Default por 30 dias, a menos que você configure a retenção personalizada para o bucket.
Não é possível excluir o bucket _Default.
Buckets de registros definidos pelo usuário
Também é possível criar buckets de registro definidos pelo usuário em qualquer projeto do Google Cloud. Ao aplicar coletores aos buckets de registro definidos pelo usuário, é possível encaminhar qualquer subconjunto de entradas de registro para qualquer bucket de registros, permitindo escolher o projeto do Google Cloud em que suas entradas de registro são armazenadas e armazenar entradas de registro de vários recursos em um local.
Por exemplo, em qualquer registro gerado no projeto A, é possível configurar um coletor para
encaminhar essas entradas de registro para um bucket definido pelo usuário no projeto A ou para um
bucket de registros no projeto B.
Para mais informações sobre como gerenciar os buckets de registros definidos pelo usuário, incluindo como excluí-los ou atualizá-los, consulte Configurar e gerenciar buckets de registros.
Regionalização
Buckets de registro são recursos regionais. A infraestrutura que armazena, indexa e pesquisa suas entradas de registro está localizada em um local geográfico específico. O Google Cloud gerencia essa infraestrutura para que seus aplicativos estejam disponíveis de maneira redundante nas zonas dessa região.
Ao criar um bucket de registros ou definir uma política regional no nível da organização, você pode escolher onde armazenar seus registros.
As seguintes regiões têm suporte do Cloud Logging:
Global
| Nome da região | Descrição da região |
|---|---|
global |
Registros armazenados em qualquer data center do mundo. Os registros podem ser movidos para data centers diferentes. Nenhuma garantia de redundância. |
Multirregiões: UE e EUA
| Nome da região | Descrição da região |
|---|---|
eu |
Registros armazenados em qualquer data center na União Europeia. Os registros podem ser movidos para data centers diferentes. Nenhuma garantia de redundância. |
us |
Registros armazenados em qualquer data center nos Estados Unidos. Os registros podem ser movidos para data centers diferentes. Nenhuma garantia de redundância. |
África
| Nome da região | Descrição da região |
|---|---|
africa-south1 |
Johannesburgo |
Américas
| Nome da região | Descrição da região |
|---|---|
northamerica-northeast1 |
Montreal |
northamerica-northeast2 |
Toronto |
southamerica-east1 |
São Paulo |
southamerica-west1 |
Santiago |
us-central1 |
Iowa |
us-east1 |
Carolina do Sul |
us-east4 |
Virgínia do Norte |
us-east5 |
Columbus |
us-south1 |
Dallas |
us-west1 |
Oregon |
us-west2 |
Los Angeles |
us-west3 |
Salt Lake City |
us-west4 |
Las Vegas |
Ásia-Pacífico
| Nome da região | Descrição da região |
|---|---|
asia-east1 |
Taiwan |
asia-east2 |
Hong Kong |
asia-northeast1 |
Tóquio |
asia-northeast2 |
Osaka |
asia-northeast3 |
Seul |
asia-south1 |
Mumbai |
asia-south2 |
Délhi |
asia-southeast1 |
Singapura |
asia-southeast2 |
Jacarta |
australia-southeast1 |
Sydney |
australia-southeast2 |
Melbourne |
Europa
| Nome da região | Descrição da região |
|---|---|
europe-central2 |
Varsóvia |
europe-north1 |
Finlândia |
europe-southwest1 |
Madri |
europe-west1 |
Bélgica |
europe-west2 |
Londres |
europe-west3 |
Frankfurt |
europe-west4 |
Países Baixos |
europe-west6 |
Zurique |
europe-west8 |
Milão |
europe-west9 |
Paris |
europe-west10 |
Berlim |
europe-west12 |
Turim |
Oriente Médio
| Nome da região | Descrição da região |
|---|---|
me-central1 |
Doha |
me-central2 |
Damã |
me-west1 |
Tel Aviv |
Quando você define o local como global, não é necessário especificar onde as entradas de registro são armazenadas fisicamente.
É possível aplicar automaticamente uma região de armazenamento específica aos buckets _Default
e _Required criados em uma organização ou pasta.
Para mais informações, consulte
Definir configurações padrão para organizações e pastas.
Para mais informações sobre a regionalidade de dados e onde armazenar os dados de registros, consulte Entenda as regiões de dados.
Política da organização
Crie uma política da organização para garantir que sua organização atenda às necessidades regulatórias e de conformidade. Com uma política da organização, é possível especificar em quais regiões sua organização pode criar novos buckets de registro. Também é possível impedir que sua organização crie novos buckets de registro em regiões específicas.
O Cloud Logging não aplica a política da organização recém-criada aos buckets de registros atuais. Ele só aplica a política aos novos buckets de registro.
Para informações sobre como criar uma política da organização baseada em local, consulte Restringir locais de recursos.
Além disso, é possível configurar um local de armazenamento padrão para os
buckets _Default e _Required em uma organização ou em uma pasta.
Se você configurar uma política da organização que restrinja onde os dados podem ser
armazenados, verifique se o local de armazenamento padrão especificado é
consistente com essa restrição. Para mais informações, consulte
Definir configurações padrão para organizações e pastas.
Retenção
O Cloud Logging retém registros de acordo com as regras de retenção que se aplicam ao tipo de bucket de registros em que os registros são retidos. Para informações sobre os períodos de armazenamento para diferentes tipos de registros, consulte Cotas e limites.
É possível configurar o Cloud Logging para reter registros por 1 dia e até 3.650 dias. As regras de retenção personalizadas se aplicam a todos os registros de um bucket, independentemente do tipo de registro ou se ele foi copiado de outro local.
Para informações sobre como definir regras de retenção para um bucket de registros, consulte Configurar a retenção personalizada.
Visualizações de registro
As visualizações de registro permitem conceder a um usuário acesso a apenas um subconjunto das entradas de registro armazenadas em um bucket de registros. Para informações sobre como configurar visualizações de registro e conceder acesso a visualizações específicas, consulte Configurar visualizações de registro em um bucket de registro.
Para cada bucket de registros, o Cloud Logging cria automaticamente a visualização _AllLogs, que mostra todos os registros armazenados nesse bucket. O Cloud Logging também cria
uma visualização para o bucket _Default chamado _Default. A visualização _Default do bucket _Default mostra todos os registros, exceto os de auditoria de acesso a dados. As visualizações
_AllLogs e _Default não são editáveis, e não é possível excluir
a visualização de registro _Default.
As visualizações de registros personalizadas oferecem uma maneira avançada e granular de controlar o acesso aos dados de registros. Por exemplo, considere um cenário em que você armazena todos os registros da sua organização em um projeto central do Google Cloud. Como os buckets de registros podem conter registros de vários projetos do Google Cloud, convém controlar de quais projetos do Google Cloud diferentes usuários podem acessar os registros. Com as visualizações de registros personalizadas, é possível conceder a um usuário acesso aos registros somente de um projeto do Google Cloud, enquanto concede acesso de outro usuário aos registros de todos os projetos do Google Cloud.
Como usar registros no ecossistema do Google Cloud
A seção a seguir fornece informações sobre como usar registros no Google Cloud.
Métricas com base em registros
As métricas com base em registros são métricas do Cloud Monitoring derivadas do conteúdo das entradas de registro. Por exemplo, se o Cloud Logging receber uma entrada de registro de um projeto do Google Cloud que corresponda aos filtros de uma das métricas do projeto, essa entrada de registro será contada nos dados da métrica.
As métricas com base em registros interagem com o roteamento de maneira diferente, dependendo se elas são definidas pelo sistema ou por você. As seções a seguir descrevem essas diferenças.
Métricas com base em registros e filtros de exclusão
Os filtros de exclusão de coletor se aplicam a métricas com base em registros definidas pelo sistema, que contam apenas os registros armazenados em buckets de registros.
Os filtros de exclusão de coletor não se aplicam a métricas com base em registros definidas pelo usuário. Mesmo que você exclua os registros da ingestão da API Cloud Logging e eles não estejam armazenados em nenhum bucket do Logging, é possível ver esses registros contados nessas métricas.
Escopo das métricas com base em registros
As métricas com base em registros definidas pelo sistema são aplicadas a projetos do Google Cloud. Essas métricas são calculadas pelo roteador de registros e se aplicam apenas aos registros no projeto do Google Cloud em que são recebidas.
As métricas com base em registros definidas pelo usuário podem ser aplicadas a projetos do Google Cloud ou a bucket de registros específicos:
- As métricas de projeto são calculadas como as métricas com base em registro definidas pelo sistema. Elas são aplicadas a registros apenas no projeto do Google Cloud em que são recebidas.
As métricas com escopo de bucket são aplicadas a registros no bucket de registros em que são recebidos, independentemente do projeto do Google Cloud de origem das entradas de registro.
Com as métricas com base em registro com escopo de bucket, é possível criar métricas que avaliam os registros nestes casos:
- Registros que são encaminhados de um projeto a um bucket em outro projeto.
- Registros que são encaminhados a um bucket com um coletor agregado.
Para mais informações, consulte Visão geral das métricas com base em registros.
Como encontrar registros em destinos compatíveis
Para saber mais sobre o formato das entradas de registro roteadas e como os registros são organizados nos destinos, consulte Visualizar registros nos destinos do coletor.
Casos de uso comuns
Para abordar casos de uso comuns de roteamento e armazenamento de registros, consulte os seguintes documentos e tutoriais:
Requisitos de conformidade
Para práticas recomendadas sobre como usar o roteamento para governança de dados, consulte os seguintes documentos:
Dados de registros: um guia passo a passo para superar desafios comuns de conformidade
Governança de dados: princípios para proteger e gerenciar registros
Controle de acesso com o IAM
Para informações sobre como usar os papéis e as permissões do gerenciamento de identidade e acesso (IAM) para controlar o acesso aos dados do Cloud Logging, consulte o Controle de acesso com o IAM.
Preços
O Cloud Logging não cobra pelo encaminhamento de registros para um destino compatível. No entanto, o destino pode aplicar cobranças.
Com exceção do bucket de registros _Required,
o Cloud Logging cobra para transmitir registros em buckets de registro e
para armazenamento por mais tempo do que o período de armazenamento padrão do bucket de registros.
O Cloud Logging não cobra pela cópia de registros, pela definição de escopos de registro ou por consultas emitidas nas páginas Explorer de registros ou Análise de dados de registros.
Para mais informações, consulte estes documentos:
- Resumo dos preços do Cloud Logging
Custos de destino:
- Cobranças de geração de registros de fluxo da VPC são aplicadas quando você envia e exclui seus registros de fluxo da nuvem privada virtual do Cloud Logging.
A seguir
Para ajudar você a rotear e armazenar dados do Cloud Logging, consulte os seguintes documentos:
Para criar coletores e rotear entradas de registro para destinos compatíveis, consulte Rotear registros para destinos compatíveis.
Para saber como criar coletores agregados que podem encaminhar entradas de registro dos recursos em pastas ou organizações, consulte Agrupar e rotear registros no nível da organização e da pasta para destinos compatíveis.
Para saber como conceder acesso a um subconjunto de entradas de registro armazenadas em um bucket de registros, consulte Configurar visualizações de registro em um bucket de registro.
- O Error Reporting pode analisar entradas de registro e informar erros para você. Para mais informações sobre esse serviço, incluindo informações sobre quando as entradas de registro podem ser analisadas, consulte Visão geral da geração de relatórios de erros.