Neste documento, explicamos como o Cloud Logging processa as entradas de registro. descreve os principais componentes do roteamento e armazenamento do Logging. O roteamento é o processo que o Cloud Logging usa para determinar a ver com uma nova entrada de registro. É possível rotear entradas de registros para destinos como buckets do Logging, que armazenam a entrada de registro, ou Pub/Sub Se quiser exportar seus registros para destinos de terceiros, encaminhe seus registros em um tópico do Pub/Sub e depois autorizar o destino de terceiros para assinar o tópico do Pub/Sub.
De modo geral, é assim que o Cloud Logging roteia e armazena entradas de registro:
Rotear registros com o roteador
As seções a seguir explicam como O Logging roteia registros com o roteador usando coletores.
Roteador de registros
Uma entrada de registro é enviada para o
Recurso do Google Cloud
especificado nalogName campo
durante
entries.write.
O Cloud Logging recebe entradas de registro API Cloud Logging em que eles são transmitidos o roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em relação ao filtro de inclusão e filtros de exclusão e, em seguida, determinam quais destinos, incluindo buckets do Cloud Logging, para onde a entrada de registro será enviada. Você pode usar combinações de coletores para rotear uma entrada de registro a vários destinos.
O roteador armazena a entrada de registro temporariamente. Esse comportamento reservas contra interrupções temporárias e falhas temporárias que podem ocorrer quando um coletor encaminha uma entrada de registro para um destino. O armazenamento em buffer não protege contra ataques de erros de configuração. Se o coletor estiver configurado incorretamente, ele não entradas de registro de rota, um registro de erro é gerado e um e-mail notificando sobre um erro de configuração do coletor. Quando não é possível encaminhar as entradas de registro, elas são descartadas.
O armazenamento temporário do roteador de registros é diferente de armazenamento de períodos de serviço fornecido pelos buckets do Logging.
Entradas de registro de entrada com carimbos de data/hora que são maiores do que período de armazenamento de registros anterior ou que com mais de 24 horas no futuro são descartados.
Coletores
Os coletores controlam como o Cloud Logging encaminha registros. Usando coletores, é possível rotear alguns ou todos os seus registros para destinos compatíveis. Estes são alguns dos motivos para você controlar como os registros são roteados:
- Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
- Para organizar os registros em buckets de um formato que seja útil.
- Para ferramentas de análise de Big Data nos registros.
- Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros. Por exemplo, se você quiser exportar seus registros do Google Cloud em uma plataforma de terceiros e depois configurar um coletor para encaminhar as entradas de registro para o Pub/Sub.
Os coletores pertencem a um determinado recurso do Google Cloud, como projetos, contas de faturamento, pastas e organizações. Quando o recurso recebe uma entrada de registro, ele encaminha a entrada de registro de acordo com os coletores contidos nele e, se ativado, todos os coletores pertencentes à hierarquia de recursos. de dados. A entrada de registro é enviada para o destino associado a cada coletor correspondente.
O Cloud Logging tem dois coletores predefinidos para cada projeto do Google Cloud:
conta de faturamento, pasta e organização: _Required e _Default. Todos os registros gerados em um recurso são processados automaticamente por meio desses dois coletores e armazenados no nome correspondente._Required ou os_Default Baldes.
Os coletores funcionam de forma independente. Independentemente de como os coletores predefinidos processam as entradas de registro, é possível criar os próprios coletores para rotear alguns ou todos os registros para vários destinos compatíveis ou excluí-los de armazenado pelo Cloud Logging.
As entradas de registro roteadas por um coletor são controladas filtro de inclusão e filtros de exclusão. Dependendo da configuração do coletor, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:
Armazenada no Cloud Logging e não roteada em outro lugar.
Armazenada no Cloud Logging e roteada para um destino compatível.
não está armazenado no Cloud Logging, mas foi roteado para um destino compatível.
nem armazenados no Cloud Logging nem roteados para outros lugares.
Geralmente, você cria coletores para envolvidos no projeto do Google Cloud, mas se quiser combinar e rotear registros do de uma organização ou pasta do Google Cloud, é possível criar coletores agregados.
Os coletores roteiam somente as entradas de registro que chegam depois da criação do coletor, porque o roteamento ocorre à medida que os registros passam pela API Logging. Se você precisar rotear entradas de registro retroativamente, consulte Copiar registros.
Filtros de inclusão
Quando um coletor não especifica nenhum filtro, todas as entradas de registro correspondem e são roteadas para o destino do coletor. É possível configurar o coletor para selecionar entradas de registro, definindo um filtro de inclusão. Também é possível definir um ou mais filtros de exclusão para impedir que as entradas de registro sejam roteadas.
Ao configurar um coletor, você especificar os filtros usando a linguagem de consulta do Logging.
Uma entrada de registro é roteada por um coletor com base nestas regras:
Se a entrada de registro não corresponder ao filtro de inclusão, ela não será roteada. Quando um coletor não especificar um filtro de inclusão, todas as entrada de registro corresponde a esse filtro.
Se a entrada de registro corresponder ao filtro de inclusão e pelo menos um filtro de exclusão, ele não será roteado.
Se a entrada de registro corresponder ao filtro de inclusão e não corresponder a qualquer filtro de exclusão, ele será roteado para o destino do coletor.
Filtros de exclusão
Ao criar um coletor, é possível definir vários filtros de exclusão. Com os filtros de exclusão, você pode excluir entradas de registro correspondentes ao filtro de inclusão sejam roteadas para o destino do coletor ou de serem em um bucket de registros. Você define filtros de exclusão usando o Linguagem de consulta do Logging.
As entradas de registro excluídas consomem
entries.write cota de API porque elas são
excluídos depois de recebidos pela API Logging.
Não é possível reduzir o número
entries.write chamadas de API por
excluindo entradas de registro.
As entradas de registro excluídas não estão disponíveis na Análise de registros.
Entradas de registro que não são roteadas para pelo menos um bucket de registros, seja explicitamente com filtros de exclusão ou porque não correspondem a nenhum coletor do Cloud Logging, também são excluídos o Error Reporting. Portanto, essas entradas de registro não estão disponíveis e solucionar problemas de falhas. As métricas com base em registros definidas pelo usuário são calculadas com base em entradas de registro e entradas de registro excluídas. Para mais informações, consulte Monitore seus registros.Destinos possíveis
O roteador de registros pode ser usado para rotear determinadas entradas de registro para destinos em qualquer projeto do Google Cloud. O Logging é compatível com os seguintes destinos do coletor:
- Bucket do Cloud Logging: fornece armazenamento no Cloud Logging. Um bucket de registros pode armazenar entradas de registro recebidos por vários projetos do Google Cloud. O bucket de registros pode estar no mesmo projeto de origem das entradas de registro ou em um projeto diferente. É possível combinar do Cloud Logging com outros dados. Para isso, faça upgrade de um bucket de registros para usar a Análise de dados de registros e, em seguida, criar um conjunto de dados vinculado do BigQuery. Para informações sobre como exibir entradas de registro armazenadas em buckets de registros, consulte Visão geral de consultas e registros e Visualizar registros roteados para buckets do Cloud Logging.
- Conjunto de dados do BigQuery: fornece armazenamento de entradas de registro em conjuntos de dados do BigQuery. O conjunto de dados do BigQuery pode estar no mesmo projeto em que as entradas de registro se originam ou em um projeto diferente. Use os recursos de análise de Big Data nas entradas de registro armazenadas. Para combinar seus dados do Cloud Logging com outros fontes de dados, recomendamos que você faça o upgrade dos buckets de registros a Análise de dados de registros e, em seguida, criar um conjunto de dados vinculado do BigQuery. Para informações sobre como visualizar entradas de registro roteadas para o BigQuery, consulte Veja os registros roteados para o BigQuery.
- Bucket do Cloud Storage: armazenamento de entradas de registro no Cloud Storage. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro se originam ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON. Para informações sobre como visualizar entradas de registro roteadas para o Cloud Storage, consulte Ver registros roteados para o Cloud Storage.
Tópico do Pub/Sub: oferece suporte para integrações de terceiros. As entradas de registro são formatadas em JSON e roteadas para um Pub/Sub tópico. O tópico pode estar no mesmo projeto em que as entradas de registro se originam ou em um projeto diferente. Para informações sobre como visualizar entradas de registro roteadas para Pub/Sub, consulte Veja os registros roteados para o Pub/Sub.
Projeto do Google Cloud: rotear entradas de registro para outro projeto do Google Cloud. Em nessa configuração, os coletores do projeto de destino as entradas de registro.
Para mais informações, consulte Rotear registros para destinos compatíveis.
Como armazenar, visualizar e gerenciar registros
A seção a seguir detalha como os registros são armazenados no Cloud Logging e como você pode visualizá-los e gerenciá-los.
Buckets de registros
O Cloud Logging usa buckets de registros como contêineres nos projetos, contas de faturamento, pastas e organizações do Google Cloud para armazenar e organizar dados de registros. As entradas de registro armazenadas no Cloud Logging são indexadas, otimizadas e entregues para permitir que você analise seus registros em tempo real. Buckets do Cloud Logging são entidades de armazenamento diferentes dos buckets do Cloud Storage com nomes semelhantes.
Para cada projeto do Google Cloud, conta de faturamento, pasta e organização,
O Logging cria automaticamente dois buckets de registros: _Required e
_Default. O Logging cria automaticamente coletores chamados
_Required e _Default que, na configuração padrão, roteiam
as entradas de registro
para os buckets nomeados correspondente.
É possível desativar o coletor _Default, que roteia as entradas de registro para o _Default
em um bucket de registros. Também é possível alterar o comportamento dos coletores _Default criados para
novos projetos ou pastas do Google Cloud. Para mais informações, consulte
Definir as configurações padrão para organizações e pastas.
Não é possível alterar as regras de roteamento para o bucket _Required.
Além disso, é possível criar buckets definidos pelo usuário para qualquer projeto do Google Cloud.
Você cria coletores para rotear todas as entradas de registro ou apenas um subconjunto para qualquer em um bucket de registros. Essa flexibilidade permite escolher o projeto do Google Cloud no qual suas entradas de registro são armazenadas e permite armazenar entradas de registro de vários recursos em um só lugar.
Para mais informações, consulte Configure buckets de registros.
Bucket de registro _Required
O Cloud Logging roteia automaticamente os seguintes tipos de entradas de registro para o
Bucket _Required:
- Registros de auditoria de atividade do administrador
- Registros de auditoria de eventos do sistema
- Registros de auditoria do administrador do Google Workspace
- Registros de auditoria do Grupos do Google Enterprise
- Registros de auditoria de login
- Registros de transparência no acesso Para informações sobre como ativar os registros da Transparência no acesso, consulte Documentação dos registros de Transparência no acesso.
O Cloud Logging mantém as entradas de registro no bucket _Required para
400 dias não será possível alterar o período de armazenamento.
Não é possível modificar ou excluir o bucket _Required. Não é possível desativar o
Coletor _Required, que roteia entradas de registro para o bucket _Required.
Bucket de registro _Default
Qualquer entrada de registro que não esteja armazenada no bucket _Required é roteada pelo
Coletor _Default para o bucket _Default, a menos que você desative ou edite
coletor _Default. Para instruções sobre como modificar coletores, consulte
Gerenciar coletores.
Por exemplo, o Cloud Logging roteia automaticamente os seguintes tipos de
entradas de registro para o bucket _Default:
O Cloud Logging mantém as entradas de registro no bucket _Default para
30 dias, a menos que você
configure a retenção personalizada para
do Google Cloud.
Não é possível excluir o bucket _Default.
Buckets de registros definidos pelo usuário
Você também pode criar buckets de registro definidos pelo usuário projeto do Google Cloud. Ao aplicar coletores aos buckets de registro definidos pelo usuário, é possível rotear qualquer subconjunto de entradas de registro para escolha o projeto do Google Cloud no qual suas entradas de registro são armazenadas e permite armazenar entradas de registro de vários recursos em um só lugar.
Por exemplo, para qualquer registro gerado no projeto A, é possível configurar um coletor para
rotear essas entradas de registro para um bucket definido pelo usuário no projeto A ou para um
do bucket de registros no projeto B.
Para mais informações sobre como gerenciar buckets de registro definidos pelo usuário, incluindo ou atualizá-los, consulte Configurar e gerenciar buckets de registros.
Regionalização
Buckets de registro são recursos regionais. A infraestrutura que armazena, índices, e pesquisa suas entradas de registro estão localizadas em um local geográfico específico o local. Google Cloud gerencia a infraestrutura para que seus aplicativos fiquem de modo redundante nas zonas da região.
Ao criar um bucket de registros ou definir um política regional no nível da organização, é possível escolha armazenar as entradas de registro em uma das seguintes regiões:
África
| Nome da região | Descrição da região |
|---|---|
africa-south1 |
Johannesburgo |
Américas
| Nome da região | Descrição da região |
|---|---|
northamerica-northeast1 |
Montreal |
northamerica-northeast2 |
Toronto |
southamerica-east1 |
São Paulo |
southamerica-west1 |
Santiago |
us-central1 |
Iowa |
us-east1 |
Carolina do Sul |
us-east4 |
Virgínia do Norte |
us-east5 |
Columbus |
us-south1 |
Dallas |
us-west1 |
Oregon |
us-west2 |
Los Angeles |
us-west3 |
Salt Lake City |
us-west4 |
Las Vegas |
Ásia-Pacífico
| Nome da região | Descrição da região |
|---|---|
asia-east1 |
Taiwan |
asia-east2 |
Hong Kong |
asia-northeast1 |
Tóquio |
asia-northeast2 |
Osaka |
asia-northeast3 |
Seul |
asia-south1 |
Mumbai |
asia-south2 |
Délhi |
asia-southeast1 |
Singapura |
asia-southeast2 |
Jacarta |
australia-southeast1 |
Sydney |
australia-southeast2 |
Melbourne |
Europa
| Nome da região | Descrição da região |
|---|---|
europe-central2 |
Varsóvia |
europe-north1 |
Finlândia |
europe-southwest1 |
Madri |
europe-west1 |
Bélgica |
europe-west2 |
Londres |
europe-west3 |
Frankfurt |
europe-west4 |
Países Baixos |
europe-west6 |
Zurique |
europe-west8 |
Milão |
europe-west9 |
Paris |
europe-west10 |
Berlim |
europe-west12 |
Turim |
Oriente Médio
| Nome da região | Descrição da região |
|---|---|
me-central1 |
Doha |
me-central2 |
Damã |
me-west1 |
Tel Aviv |
Outro
| Nome da região | Descrição da região |
|---|---|
eu |
Registros armazenados em data centers na União Europeia; nenhum outro garantias de redundância |
us |
Logs armazenados em data centers nos Estados Unidos; nenhum outro garantias de redundância |
global |
Registros armazenados em qualquer data center no mundo sem redundância adicional garantias |
Quando você define o local como global, não é necessário especificar onde está o
as entradas de registro
são armazenadas fisicamente.
É possível aplicar automaticamente uma região de armazenamento específica ao _Default
e _Required buckets criados em uma organização ou pasta.
Para mais informações, consulte
Definir as configurações padrão para organizações e pastas.
Para mais informações sobre a regionalidade dos dados e onde você pode armazenar seus dados de registros, consulte Entenda o que são as regiões de dados.
Política da organização
Crie uma política da organização para garantir que sua organização atenda às necessidades regulatórias e de conformidade. Com uma política da organização, é possível especificar em quais regiões sua organização pode criar novos buckets de registro. Também é possível impedir que sua organização crie novos buckets de registro em regiões específicas.
O Cloud Logging não aplica a política da organização recém-criada aos buckets de registros atuais. ela só é aplicada em novos buckets de registros.
Para saber como criar uma política da organização com base no local, consulte Restringir locais de recursos.
Além disso, você pode configurar um local de armazenamento padrão para o
Buckets _Default e _Required em uma organização ou em uma pasta.
Se você configurar uma política da organização que restringe onde os dados podem ser
armazenado, é necessário garantir que o local de armazenamento padrão especificado seja
consistentes com essa restrição. Para mais informações, consulte
Definir as configurações padrão para organizações e pastas.
Retenção
O Cloud Logging retém registros de acordo com as regras de retenção que se aplicam ao tipo de bucket de registros em que os registros são retidos. Para informações sobre os períodos de armazenamento para diferentes tipos de registros, consulte Cotas e limites.
É possível configurar o Cloud Logging para reter registros por 1 dia e até 3.650 dias. As regras de retenção personalizadas se aplicam a todos os registros de um bucket, independentemente do tipo de registro ou se ele foi copiado de outro local.
Para informações sobre como configurar regras de retenção para um bucket de registros, consulte Configurar a retenção personalizada.
Visualizações de registro
As visualizações de registros permitem conceder a um usuário acesso a apenas um subconjunto das entradas de registro em um bucket de registros. Para mais informações sobre como configurar visualizações de registros e como conceder acesso a visualizações de registros específicas, consulte Configurar visualizações de registros em um bucket de registros.
Para cada bucket de registros, o Cloud Logging cria automaticamente o _AllLogs
que mostra todos os registros armazenados no bucket. O Cloud Logging também cria
uma visualização para o bucket _Default chamada _Default. A visualização _Default do
O bucket _Default mostra todos os registros, exceto os de auditoria de acesso a dados. O
As vistas _AllLogs e _Default não são editáveis e não podem ser excluídas
a visualização de registros _Default.
As visualizações de registros personalizadas fornecem uma maneira avançada e granular de controlar o acesso aos dados de registros. Por exemplo, considere um cenário em que você armazenar todos os registros da sua organização em um central do Google Cloud. Como os buckets podem conter registros vários projetos do Google Cloud, controle quais Os projetos do Google Cloud podem acessar os registros de diferentes usuários. Como usar o registro personalizado é possível conceder a um usuário acesso aos registros somente de um um único projeto do Google Cloud, enquanto você concede a outro usuário acesso aos registros do todos os projetos do Google Cloud.
Como usar registros no ecossistema do Google Cloud
A seção a seguir fornece informações sobre como usar os registros na abrangência Google Cloud.
Métricas com base em registros
As métricas com base em registros são métricas do Cloud Monitoring derivados do conteúdo das entradas de registro. Por exemplo, se O Cloud Logging recebe uma entrada de registro de um projeto do Google Cloud que corresponder aos filtros de uma das métricas do projeto do Google Cloud, essa entrada de registro é contada nos dados da métrica.
As métricas com base em registros interagem com o roteamento de maneira diferente, dependendo as métricas com base em registros são definidas pelo sistema ou por você. O seguinte descrevem essas diferenças.
Métricas com base em registros e filtros de exclusão
Os filtros de exclusão do coletor se aplicam às métricas com base em registros definidas pelo sistema, que contam apenas registros armazenados em buckets de registros.
Os filtros de exclusão de coletor não se aplicam a métricas com base em registros definidas pelo usuário. Mesmo que você exclui os registros do armazenamento em qualquer bucket do Logging é possível ver os registros contabilizados nessas métricas.
Escopo das métricas com base em registros
As métricas com base em registros definidas pelo sistema são aplicadas a projetos do Google Cloud. Essas métricas são calculadas pelo roteador de registros e se aplicam apenas no projeto do Google Cloud em que foram recebidos.
As métricas com base em registros definidas pelo usuário podem ser aplicadas ao projeto do Google Cloud ou no nível de um bucket de registros específico:
- As métricas no nível do projeto são calculadas como as métricas com base em registros definidas pelo sistema. essas métricas com base em registros definidas pelo usuário se aplicam apenas a registros no projeto do Google Cloud em que foram recebidos.
As métricas com escopo de bucket são aplicadas aos registros no bucket de registros eles são recebidos, independentemente do projeto do Google Cloud em que que originaram as entradas de registro.
Com as métricas com base em registros com escopo de bucket, é possível criar métricas com base em registros que podem avaliar registros nos seguintes casos:
- Registros que são encaminhados de um projeto a um bucket em outro projeto.
- Registros que são encaminhados a um bucket com um coletor agregado.
Para mais informações, consulte Visão geral das métricas com base em registros.
Como encontrar registros em destinos compatíveis
Para saber mais sobre o formato das entradas de registro roteadas e como os registros são organizados nos destinos, consulte Visualizar registros nos destinos do coletor.
Casos de uso comuns
Para abordar casos de uso comuns de roteamento e armazenamento de registros, consulte os seguintes documentos e tutoriais:
Requisitos de conformidade
Para conferir as práticas recomendadas sobre o uso do roteamento na governança de dados, consulte a seção a seguir documentos:
Dados de registros: um guia passo a passo para superar desafios comuns de conformidade
Governança de dados: princípios para proteger e gerenciar registros
Controle de acesso com o IAM
Para mais informações sobre como usar papéis e permissões do Identity and Access Management (IAM) para controlar o acesso aos dados do Cloud Logging, consulte Controle de acesso com o IAM.
Preços
O Cloud Logging não cobra pelo roteamento de registros para um
destino com suporte No entanto, o destino pode aplicar cobranças.
Com exceção do bucket de registros _Required,
O Cloud Logging cobra pelo streaming de registros para buckets
para armazenamento maior que o período de armazenamento padrão do bucket de registros.
O Cloud Logging não cobra pela cópia de registros ou por consultas emitidas por meio do Análise de registros ou pela página Análise de registros.
Para mais informações, consulte estes documentos:
- Resumo dos preços do Cloud Logging
Custos de destino:
- Cobranças da geração de registros de fluxo de VPC são aplicadas quando você envia e exclui os registros de fluxo da nuvem privada virtual do Cloud Logging.
A seguir
Para ajudar você a rotear e armazenar dados do Cloud Logging, consulte os seguintes documentos:
Para criar coletores e rotear entradas de registro para destinos compatíveis, consulte Rotear registros para destinos compatíveis.
Para saber como criar coletores agregados que podem rotear entradas de registro os recursos em pastas ou organizações, consulte Agrupar e rotear registros de organização e pasta para destinos compatíveis.
Para saber como conceder acesso a um subconjunto de entradas de registro armazenadas em um bucket de registros, consulte Configurar visualizações de registros em um bucket de registros.
- O Error Reporting pode analisar entradas de registro e relatar erros para você. Para obter mais informações sobre este serviço, incluindo informações sobre quando as entradas de registro podem ser analisadas, consulte Visão geral do Error Reporting.