Neste documento, explicamos como o Cloud Logging processa entradas de registro e descrevemos os principais componentes do roteamento e do armazenamento do Logging. Roteamento refere-se ao processo que o Cloud Logging usa para determinar o que fazer com uma entrada de registro recém-chegada. É possível rotear entradas de registro para destinos como buckets do Logging, que armazenam a entrada de registro, ou para o Pub/Sub. Para exportar os registros para destinos de terceiros, encaminhe-os para um tópico do Pub/Sub e autorize o destino de terceiros a se inscrever no tópico do Pub/Sub.
De modo geral, é assim que o Cloud Logging roteia e armazena entradas de registro:
Como ingerir e rotear registros com o roteador de registros
As seções a seguir explicam como os registros são ingeridos pelo Logging e roteados pelo roteador de registros usando coletores.
Roteador de registros
Uma entrada de registro é enviada para o
Recurso do Google Cloud
especificado nalogName campo
durante
entries.write.
O Cloud Logging recebe entradas de registro por meio da API Cloud Logging em que elas passam pelo roteador de registros. Os coletores no roteador de registros verificam cada entrada de registro em comparação com o filtro de inclusão e os filtros de exclusão atuais que determinam quais destinos. incluindo buckets do Cloud Logging, para os quais a entrada de registro precisa ser enviada. Use combinações de coletores para rotear registros para vários destinos.
O roteador de registros armazena os registros temporariamente. Esse comportamento armazena em buffer contra interrupções e interrupções temporárias que podem ocorrer quando um coletor encaminha registros para um destino. O armazenamento em buffer não protege contra erros de configuração do coletor. Se o coletor estiver configurado incorretamente, o Logging descartará os registros, um registro de erro será gerado e um e-mail de notificação sobre um erro de configuração do coletor será enviado.
Observe que o armazenamento temporário do roteador de registros é diferente do armazenamento de longo prazo fornecido pelos buckets do Logging.
Entradas de registro de entrada com carimbos de data/hora que são maiores que o período de armazenamento de registros no passado ou que são mais de 24 horas no futuro são descartadas.
Coletores
Os coletores controlam como o Cloud Logging encaminha registros. Usando coletores, é possível rotear alguns ou todos os seus registros para destinos compatíveis. Estes são alguns dos motivos para você controlar como os registros são roteados:
- Para armazenar registros que provavelmente não serão lidos, mas que precisam ser retidos para fins de conformidade.
- Para organizar os registros em buckets de um formato que seja útil.
- Para ferramentas de análise de Big Data nos registros.
- Para transmitir os registros para outros aplicativos, outros repositórios ou terceiros. Por exemplo, se você quiser exportar os registros do Google Cloud para visualizá-los em uma plataforma de terceiros, configure um coletor para rotear as entradas de registro para o Pub/Sub.
Os coletores pertencem a um determinado recurso do Google Cloud: projetos, contas de faturamento, pastas e organizações do Google Cloud. Quando o recurso recebe uma entrada de registro, ele encaminha a entrada de registro de acordo com os coletores contidos nele e, se ativado, todos os coletores pertencentes à hierarquia de recursos. de dados. A entrada de registro é enviada para o destino associado a cada coletor correspondente.
O Cloud Logging fornece dois coletores predefinidos para cada projeto, conta de faturamento, pasta e organização do Google Cloud: _Required e _Default. Todos os registros gerados em um recurso são processados automaticamente por meio desses dois coletores e armazenados no nome correspondente._Required ou os_Default Baldes.
Os coletores funcionam de forma independente. Independentemente de como os coletores predefinidos processam as entradas de registro, é possível criar os próprios coletores para rotear alguns ou todos os registros para vários destinos compatíveis ou excluí-los de armazenado pelo Cloud Logging.
O comportamento de roteamento de cada coletor é controlado ao configurar o filtro de inclusão e os filtros de exclusão para esse coletor. Dependendo da configuração do coletor, cada entrada de registro recebida pelo Cloud Logging se enquadra em uma ou mais destas categorias:
Armazenada no Cloud Logging e não roteada em outro lugar.
Armazenada no Cloud Logging e roteada para um destino compatível.
não está armazenado no Cloud Logging, mas foi roteado para um destino compatível.
nem armazenados no Cloud Logging nem roteados para outros lugares.
Normalmente, você cria coletores no nível do projeto do Google Cloud, mas se quiser combinar e rotear registros dos recursos contidos por uma organização ou pasta do Google Cloud, será possível criar coletores agregados.
Não é possível rotear entradas de registro que o Logging recebeu antes da criação do coletor porque o roteamento acontece à medida que os registros são transmitidos pela API Logging, e novas regras de roteamento só se aplicam a registros gravados depois que essas regras são criadas de dados. Se você precisar rotear as entradas de registro de forma retroativa, consulte Copiar registros.
Filtros de inclusão
Para qualquer novo coletor, se você não especificar filtros, todos os registros corresponderão e serão roteados para o destino do coletor. Configure o coletor para selecionar registros específicos definindo um filtro de inclusão. Também é possível definir um ou mais filtros de exclusão para excluir registros do destino do coletor.
Ao configurar coletores, você cria filtros de inclusão usando a linguagem de consulta do Logging. Os coletores também podem conter vários filtros de exclusão.
Cada entrada de registro recebida pelo Logging é roteada com base nestas regras de filtragem:
Os filtros de exclusão do coletor modificam os filtros de inclusão definidos. Se um registro corresponder a qualquer filtro de exclusão no coletor, ele não corresponderá ao coletor, independentemente dos filtros de inclusão definidos. A entrada de registro não é roteada para o destino desse coletor.
Se o coletor não contiver um filtro de inclusão, ocorrerá o seguinte:
- Se a entrada de registro corresponder a qualquer filtro de exclusão, ela não será roteada para o destino do coletor.
- Se a entrada de registro não corresponder a nenhum filtro de exclusão, ela será roteada para o destino do coletor. Um filtro de inclusão vazio seleciona todos os registros.
Se o coletor tiver um filtro de inclusão, acontecerá o seguinte:
- Se a entrada de registro corresponder ao filtro de inclusão, ela será roteada para o destino do coletor.
- Se a entrada de registro não corresponder ao filtro de inclusão, ela não será roteada para o destino do coletor.
Filtros de exclusão
Ao criar um coletor, é possível definir vários filtros de exclusão. Com os filtros de exclusão, é possível impedir que as entradas de registro correspondentes sejam roteadas para o destino do coletor ou ingeridas pelo Cloud Logging. Crie filtros de exclusão usando a linguagem de consulta do Logging.
As entradas de registro são excluídas depois de serem recebidas pela API Logging e, portanto, essas entradas de registro consomem a cota da API entries.write. Não é possível reduzir o número de chamadas da API entries.write excluindo entradas de registro.
As entradas de registro excluídas não estão disponíveis no Explorador de registros.
As entradas de registro que não são roteadas para pelo menos um bucket de registro, seja explicitamente com filtros de exclusão ou porque não correspondem a nenhum coletor com um destino de armazenamento do Logging, também são excluídas do Error Reporting. Portanto, esses registros não estão disponíveis para ajudar a solucionar falhas.
As métricas com base em registros definidas pelo usuário são calculadas com base nas entradas de registro nos registros incluídos e excluídos. Para mais informações, consulte Monitorar seus registros.
Entradas de registro que não forem excluídas podem resultar em cobranças. Para mais informações, consulte as informações de preços do Cloud Logging.
Destinos possíveis
É possível usar o roteador de registros para rotear determinados registros para destinos compatíveis em qualquer projeto do Google Cloud. O Logging é compatível com os seguintes destinos de coletor:
- Buckets de registro do Cloud Logging: fornece armazenamento no Cloud Logging. Um bucket de registros pode armazenar registros ingeridos por vários projetos do Google Cloud. É possível combinar os dados do Cloud Logging com outros dados, fazendo upgrade de um bucket de registros para usar a análise de registros e criando um conjunto de dados do BigQuery vinculado. Para informações sobre como visualizar registros armazenados em buckets de registros, consulte Visão geral de consultas e registros de registros e Visualizar registros roteados para buckets do Cloud Logging.
- Projetos do Google Cloud: direcione entradas de registro para um projeto diferente do Google Cloud. Quando você encaminha registros para um projeto diferente do Google Cloud, o roteador do projeto de destino recebe os registros e os processa. Os coletores no projeto de destino determinam como as entradas de registro recebidas são roteadas.
- Tópicos do Pub/Sub: oferece suporte a integrações de terceiros, como o Splunk. As entradas de registro são formatadas em JSON e encaminhadas para um tópico do Pub/Sub. Para informações sobre a visualização de registros roteados para o Pub/Sub, consulte Ver registros roteados para o Pub/Sub.
- Conjuntos de dados do BigQuery: fornece armazenamento de entradas de registro em conjuntos de dados do BigQuery. É possível usar os recursos de análise de Big Data nos registros armazenados. Para combinar os dados do Cloud Logging com outras fontes de dados, recomendamos que você faça upgrade dos buckets de registro para usar a análise de registros e crie um conjunto de dados vinculado do BigQuery. Para mais informações sobre a visualização de registros roteados para o BigQuery, consulte Ver registros roteados para o BigQuery.
- Buckets do Cloud Storage: fornece armazenamento de dados de registro no Cloud Storage. As entradas de registro são armazenadas como arquivos JSON. Para mais informações sobre a visualização de registros roteados para o Cloud Storage, consulte Ver registros roteados para o Cloud Storage.
Para mais informações, consulte Rotear registros para destinos compatíveis.
Como armazenar, visualizar e gerenciar registros
A seção a seguir detalha como os registros são armazenados no Cloud Logging e como você pode visualizá-los e gerenciá-los.
Buckets de registros
O Cloud Logging usa buckets de registros como contêineres nos projetos, contas de faturamento, pastas e organizações do Google Cloud para armazenar e organizar dados de registros. Os registros armazenados no Cloud Logging são indexados, otimizados e entregues para que você possa analisar os registros em tempo real. Os buckets do Cloud Logging são entidades de armazenamento diferentes dos buckets do Cloud Storage com nomes semelhantes.
Para cada projeto, conta de faturamento, pasta e organização do Google Cloud, o Logging cria automaticamente dois buckets de registros: _Required e _Default. O Logging cria automaticamente coletores chamados _Required e _Default que, na configuração padrão, encaminham registros para os buckets correspondentes.
É possível desativar o coletor _Default, que roteia registros para o bucket _Default. Para alterar o comportamento dos coletores _Default criados para novos
projetos ou pastas do Google Cloud criados em sua organização, defina
configurações padrão.
Não é possível alterar as regras de roteamento do bucket _Required.
Além disso, é possível criar buckets definidos pelo usuário para qualquer projeto do Google Cloud.
Você cria coletores para rotear todos os registros ou apenas um subconjunto deles para qualquer bucket de registro. Essa flexibilidade permite escolher o projeto do Google Cloud em que os registros são armazenados e quais outros registros são armazenados com eles.
Para mais informações, consulte Configurar buckets de registros.
Bucket de registro _Required
O Cloud Logging encaminha automaticamente os seguintes tipos de registros para o
bucket _Required:
- Registros de auditoria de atividade do administrador
- Registros de auditoria de eventos do sistema
- Registros de transparência no acesso
O Cloud Logging retém os registros no bucket _Required por
400 dias. Não é possível alterar esse período de armazenamento.
Não é possível modificar ou excluir o bucket _Required. Não é possível desativar o coletor _Required, que encaminha registros para o bucket _Required.
Os preços de processamento e de armazenamento não se aplicam aos dados de registros armazenados no bucket de registros _Required.
Bucket de registro _Default
Qualquer entrada de registro que não seja ingerida pelo bucket _Required é encaminhada pelo coletor _Default para o bucket _Default, a menos que você desative ou edite o coletor _Default de dados. Para instruções sobre como modificar coletores, consulte
Gerenciar coletores.
O Cloud Logging encaminha automaticamente os seguintes tipos de registros para o
bucket _Default:
O Cloud Logging retém os registros no bucket _Default por
30 dias, a menos que você
configure a retenção personalizada para o
bucket.
Não é possível excluir o bucket _Default.
Os preços do Cloud Logging se aplicam
aos dados de registros mantidos no bucket _Default.
Buckets de registros definidos pelo usuário
Também é possível criar buckets de registros definidos pelo usuário em qualquer projeto do Google Cloud. Ao aplicar coletores a buckets de registro definidos pelo usuário, é possível rotear qualquer subconjunto de registros para qualquer bucket de registros, permitindo que você escolha em que projeto do Google Cloud seus registros serão armazenados e quais outros registros serão armazenados com eles.
Por exemplo, em qualquer registro gerado no Projeto A, é possível configurar um coletor para rotear esse registro para buckets definidos pelo usuário no Projeto A ou do Projeto B.
Os preços do Cloud Logging se aplicam aos dados de registros mantidos nesse bucket, independentemente do tipo de registro.
É possível configurar a retenção personalizada para o bucket.
Para informações sobre como gerenciar buckets de registro definidos pelo usuário, incluindo como excluí-los ou atualizá-los, consulte Configurar e gerenciar buckets de registros.
Regionalização
Buckets de registro são recursos regionais. A infraestrutura que armazena, indexa e pesquisa seus registros está localizada em uma localização geográfica específica. O Google gerencia essa infraestrutura para que os aplicativos estejam disponíveis de maneira redundante nas zonas dessa região.
Ao criar um bucket de registros ou definir uma política regional no nível da organização, é possível armazenar os registros em qualquer uma das seguintes regiões:
Américas
| Nome da região | Descrição da região | Suporte a análises de registros |
|---|---|---|
northamerica-northeast1 |
Montreal | Sim |
northamerica-northeast2 |
Toronto | |
southamerica-east1 |
São Paulo | |
southamerica-west1 |
Santiago | |
us-central1 |
Iowa | Sim |
us-east1 |
Carolina do Sul | Sim |
us-east4 |
Virgínia do Norte | |
us-east5 |
Columbus | |
us-south1 |
Dallas | |
us-west1 |
Oregon | Sim |
us-west2 |
Los Angeles | Sim |
us-west3 |
Salt Lake City | |
us-west4 |
Las Vegas |
Ásia-Pacífico
| Nome da região | Descrição da região | Suporte a análises de registros |
|---|---|---|
asia-east1 |
Taiwan | |
asia-east2 |
Hong Kong | |
asia-northeast1 |
Tóquio | Sim |
asia-northeast2 |
Osaka | |
asia-northeast3 |
Seul | |
asia-south1 |
Mumbai | Sim |
asia-south2 |
Délhi | |
asia-southeast1 |
Singapura | |
asia-southeast2 |
Jacarta | |
australia-southeast1 |
Sydney | Sim |
australia-southeast2 |
Melbourne |
Europa
| Nome da região | Descrição da região | Suporte a análises de registros |
|---|---|---|
europe-central2 |
Varsóvia | |
europe-north1 |
Finlândia | |
europe-southwest1 |
Madri | |
europe-west1 |
Bélgica | Sim |
europe-west2 |
Londres | Sim |
europe-west3 |
Frankfurt | |
europe-west4 |
Países Baixos | |
europe-west6 |
Zurique | |
europe-west8 |
Milão | |
europe-west9 |
Paris |
Oriente Médio
| Nome da região | Descrição da região | Suporte a análises de registros |
|---|---|---|
me-central1 |
Doha | |
me-west1 |
Tel Aviv |
Outros
| Nome da região | Descrição da região | Suporte a análises de registros |
|---|---|---|
eu |
Registros armazenados em data centers na União Europeia. Sem garantias de redundância adicionais | Sim |
us |
Registros armazenados em data centers nos Estados Unidos, sem garantias de redundância | Sim |
global |
Registros armazenados em qualquer data center do mundo, sem garantias de redundância | Sim |
Além dessas regiões, é possível definir o local como global, o que significa que você não precisa especificar onde seus registros são armazenados fisicamente.
Se você quiser aplicar automaticamente uma região de armazenamento específica aos buckets _Default e _Required criados na sua organização, configure um local de recurso padrão.
Para mais informações sobre regionalidade dos dados e onde armazenar os dados de registros, consulte Noções básicas sobre regiões de dados.
Política da organização
Crie uma política da organização para garantir que sua organização atenda às necessidades regulatórias e de conformidade. Com uma política da organização, é possível especificar em quais regiões sua organização pode criar novos buckets de registro. Também é possível impedir que sua organização crie novos buckets de registro em regiões específicas.
O Cloud Logging não aplica a política da organização recém-criada em buckets de registro existentes. Ela aplica apenas a política em novos buckets de registros.
Para informações sobre como criar uma política da organização baseada em local, consulte Restringir locais de recursos.
Além disso, é possível configurar um
local de recurso padrão para
escolher qual região de armazenamento aplicar aos buckets _Default e _Required
criados na organização.
Retenção
O Cloud Logging retém registros de acordo com as regras de retenção que se aplicam ao tipo de bucket de registros em que os registros são retidos.
É possível configurar o Cloud Logging para reter registros por 1 dia e até 3.650 dias. As regras de retenção personalizadas se aplicam a todos os registros de um bucket, independentemente do tipo de registro ou se ele foi copiado de outro local.
Para informações sobre como definir regras de retenção para um bucket de registros, consulte Configurar retenção personalizada.
Para informações sobre os períodos de armazenamento para diferentes tipos de registros, consulte Cotas e limites.
Visualizações de registro
As visualizações de registro permitem controlar quem tem acesso aos registros nos seus buckets.
Para cada bucket de registros, o Cloud Logging cria automaticamente a visualização _AllLogs, que mostra todos os registros armazenados nesse bucket. O Cloud Logging também cria
uma visualização para o bucket _Default, chamada _Default. A visualização _Default do bucket _Default mostra todos os registros, exceto os de auditoria de acesso a dados. As visualizações _AllLogs e _Default não são editáveis, e não é possível excluí-las.
As visualizações de registros personalizadas fornecem uma maneira avançada e granular de controlar o acesso aos dados de registros. Por exemplo, pense em um cenário em que você armazena todos os registros da sua organização em um projeto central do Google Cloud. Como os buckets podem conter registros de vários projetos do Google Cloud, convém controlar de quais projetos do Google Cloud os diferentes usuários podem visualizar registros. Ao usar visualizações de registros personalizadas, é possível conceder a um usuário acesso a registros somente de um único projeto do Google Cloud, enquanto concede a outro usuário acesso a registros de todos os projetos do Google Cloud.
Para informações sobre como configurar visualizações de registros, consulte Configurar o acesso no nível do bucket.
Como usar registros no ecossistema do Google Cloud
A seção a seguir fornece informações sobre como usar registros no Google Cloud mais amplo.
Métricas com base em registros
As métricas com base em registros são métricas do Cloud Monitoring que são derivadas do conteúdo das entradas de registro. Por exemplo, se o Cloud Logging receber uma entrada de registro para um projeto do Google Cloud que corresponda aos filtros de uma das métricas do projeto do Google Cloud, essa entrada de registro será contada nos dados da métrica.
As métricas com base em registros interagem com o roteamento de maneiras diferentes, dependendo se as métricas são definidas pelo sistema ou por você. As seções a seguir descrevem essas diferenças.
Métricas com base em registros e filtros de exclusão
Os filtros de exclusão de coletores se aplicam a métricas com base em registros definidas pelo sistema, que contam apenas os registros incluídos para ingestão pelo projeto do Google Cloud.
Os filtros de exclusão de coletor não se aplicam a métricas com base em registros definidas pelo usuário. Mesmo que você exclua os registros da ingestão da API Cloud Logging e eles não estejam armazenados em nenhum bucket do Logging, é possível ver esses registros contados nessas métricas.
Escopo das métricas com base em registros
As métricas com base em registros definidas pelo sistema se aplicam no nível do projeto do Google Cloud. Essas métricas são calculadas pelo roteador de registros e se aplicam a registros apenas no projeto do Google Cloud em que são recebidas.
As métricas com base em registros definidas pelo usuário podem ser aplicadas no nível do projeto do Google Cloud ou no nível de um bucket de registro específico:
- As métricas para envolvidos no projeto são calculadas como as métricas com base em registros definidas pelo sistema. Essas métricas definidas pelo usuário se aplicam aos registros somente no projeto do Google Cloud em que são recebidas.
As métricas no escopo do bucket se aplicam a registros no bucket de registros em que são recebidos, independentemente do projeto do Google Cloud em que as entradas de registro foram originadas.
Com métricas com base em registros no escopo do bucket, é possível criar métricas com base em registros que avaliam registros nos seguintes casos:
- Registros que são roteados de um projeto para um bucket em outro.
- Registros que são roteados para um bucket por meio de um coletor agregado.
Para mais informações, consulte Visão geral das métricas com base em registros.
Como encontrar registros em destinos compatíveis
Para saber mais sobre o formato das entradas de registro roteadas e como os registros são organizados nos destinos, consulte Visualizar registros nos destinos do coletor.
Casos de uso comuns
Para abordar casos de uso comuns de roteamento e armazenamento de registros, consulte os seguintes documentos e tutoriais:
Agregar o registro da sua organização em um bucket de registro central
Configure a geração de registros multilocatário para clusters do Google Kubernetes Engine (GKE)
Requisitos de conformidade
Para as práticas recomendadas sobre como usar o roteamento para governança de dados, consulte os seguintes documentos:
Dados de registros: um guia passo a passo para superar desafios comuns de conformidade
Governança de dados: princípios para proteger e gerenciar registros
Controle de acesso com o IAM
Para informações sobre como usar papéis e permissões do gerenciamento de identidade e acesso (IAM) para controlar o acesso aos dados do Cloud Logging, consulte Controle de acesso com o IAM.
Preços
Para entender os preços de ingestão e armazenamento, consulte as informações de preços do Cloud Logging.
O Cloud Logging não cobra pelo encaminhamento de registros, mas as taxas de destino podem ser aplicadas. Veja os detalhes de preços do serviço apropriado:
A seguir
Para ajudar você a rotear e armazenar dados do Cloud Logging, consulte os seguintes documentos:
Para criar coletores e rotear registros para destinos compatíveis, consulte Configurar coletores.
Para informações sobre solução de problemas de roteamento e coletores, consulte Resolver problemas de roteamento e coletores.