Visão geral do Cloud Logging

Este documento fornece uma visão geral do Cloud Logging, um sistema de gerenciamento de registros em tempo real com suporte para armazenamento, pesquisa, análise e monitoramento. O Cloud Logging coleta registros dos recursos do Google Cloud automaticamente. Você também pode coletar registros de seus aplicativos, recursos no local e recursos de outros provedores de nuvem. Também é possível configurar políticas de alertas para que o Cloud Monitoring notifique você se determinados tipos de eventos forem informados nos seus registros. Por motivos regulatórios ou de segurança, é possível determinar onde os dados de registro estão armazenados.

Colete registros dos seus aplicativos e softwares de terceiros

É possível coletar registros de aplicativos gravados instrumentando seu aplicativo usando uma biblioteca de cliente. No entanto, nem sempre é necessário instrumentar seu aplicativo. Por exemplo, em algumas configurações, é possível usar o Agente de operações para enviar registros gravados em stdout ou stderr para seu projeto do Google Cloud.

Também é possível coletar dados de registro de aplicativos de terceiros, como nginx, instalando o Agente de operações e configurando-o para gravar registros desse aplicativo no projeto do Google Cloud.

Consulte O que você deve usar: agente do Logging ou biblioteca de cliente? para informações que podem ajudar a decidir qual abordagem atende melhor às suas necessidades.

Solucionar problemas e analisar registros

É possível visualizar e analisar seus dados de registro usando o console do Google Cloud, com a Análise de registros ou as páginas de Análise de dados de registros. É possível consultar e visualizar registros com as duas interfaces. No entanto, elas usam linguagens de consulta diferentes e têm recursos distintos.

Quando você quiser solucionar problemas e analisar o desempenho de serviços e aplicativos, recomendamos usar a Análise de registros. Essa interface foi projetada para permitir a visualização de entradas de registro individuais e a localização de entradas de registro relacionadas. Por exemplo, quando uma entrada de registro faz parte de um grupo de erros, essa entrada é anotada com um menu de opções em que você acessa mais informações sobre o erro.

Quando você quiser realizar operações agregadas nos seus registros, por exemplo, para calcular a latência média de solicitações HTTP emitidas para um URL específico ao longo do tempo, use a interface da Análise de dados de registros. Com essa interface, você usa o SQL para consultar dados de registro e, portanto, utiliza os recursos do SQL para entender os dados de registro.

Se preferir consultar os dados de registro de maneira programática, use a API Cloud Logging ou a Google Cloud CLI para exportar os dados de registro do projeto do Google Cloud.

Para mais informações, acesse Visão geral de registros de consulta e visualização.

Monitorar seus registros

É possível configurar o Cloud Logging para receber notificações quando determinados tipos de eventos ocorrerem nos registros. Essas notificações podem ser enviadas quando um padrão específico aparece em uma entrada de registro ou quando uma tendência é detectada nos dados de registro. Se você tiver interesse em visualizar as taxas de erro dos serviços do Google Cloud, consulte o painel do Cloud Logging, que está pré-configurado.

Por exemplo, se você quiser receber uma notificação quando uma mensagem específica, como um evento crítico relacionado à segurança, ocorrer, crie uma política de alertas com base em registros. Uma política de alertas com base em registros monitora seus registros em busca de um padrão específico. Se esse padrão for encontrado, o Monitoring enviará uma notificação e criará um incidente. As políticas de alertas com base em registros são úteis para eventos importantes, mas raros, como os seguintes:

  • Você quer ser notificado quando um evento aparecer em um registro de auditoria, por exemplo, um usuário acessar a chave de segurança de uma conta de serviço.
  • O aplicativo grava mensagens de implantação em registros, e você quer ser notificado quando uma alteração na implantação for registrada.

Se preferir, monitore tendências ou a ocorrência de eventos ao longo do tempo. Para essas situações, crie uma métrica com base em registros. Uma métrica com base em registros conta o número de entradas de registro que correspondem a algum critério ou pode extrair e organizar informações como tempos de resposta em histogramas. Também é possível configurar políticas de alertas que notificam você quando ocorrem alterações no desempenho, por exemplo, o tempo de resposta aumenta para um nível inaceitável. As métricas com base em registros são adequadas quando você quer realizar uma destas ações:

  • Conte as ocorrências de uma mensagem, como um aviso ou erro, nos seus registros e receba uma notificação quando o número de ocorrências ultrapassar um limite.
  • Observe as tendências nos seus dados, como valores de latência nos seus registros, e receba uma notificação se os valores mudarem de maneira inaceitável.
  • Crie gráficos para exibir os dados numéricos extraídos dos registros.

Para mais informações, consulte Monitorar seus registros.

Armazenamento de registro

Não é necessário configurar o local onde os registros são armazenados. Por padrão, seu projeto do Google Cloud armazena automaticamente todos os registros que recebe em um bucket de registros do Cloud Logging. Por exemplo, se o projeto do Google Cloud tiver uma instância do Compute Engine, todos os registros gerados pelo Compute Engine serão armazenados automaticamente. No entanto, se necessário, é possível configurar vários aspectos sobre o armazenamento de registros, como quais registros são armazenados, quais são descartados e onde são armazenados.

É possível rotear ou encaminhar entradas de registro para os seguintes destinos, que podem estar no mesmo projeto do Google Cloud ou em um projeto diferente:

  • Bucket do Cloud Logging: fornece armazenamento no Cloud Logging. Um bucket de registros pode armazenar entradas de registro recebidas por vários projetos do Google Cloud. Para combinar seus dados do Cloud Logging com outros dados, faça upgrade de um bucket de registros para usar a Análise de dados de registros e, em seguida, crie um conjunto de dados vinculado do BigQuery. Para informações sobre como visualizar entradas de registro armazenadas em buckets de registros, consulte Visão geral de consulta e visualização de registros e Visualizar registros roteados para buckets do Cloud Logging.
  • Conjunto de dados do BigQuery: fornece armazenamento de entradas de registro em conjuntos de dados do BigQuery. Os recursos de análise de Big Data podem ser usados nas entradas de registro armazenadas. Para combinar seus dados do Cloud Logging com outras fontes de dados, recomendamos que você faça upgrade dos buckets de registros para usar a Análise de dados de registros e crie um conjunto de dados vinculado do BigQuery. Para informações sobre como visualizar entradas de registro roteadas para o BigQuery, consulte Visualizar registros roteados para o BigQuery.
  • Bucket do Cloud Storage: armazenamento de entradas de registro no Cloud Storage. As entradas de registro são armazenadas como arquivos JSON. Para informações sobre como visualizar entradas de registro roteadas para o Cloud Storage, consulte Visualizar registros roteados para o Cloud Storage.
  • Tópico do Pub/Sub: oferece suporte para integrações de terceiros. As entradas de registro são formatadas em JSON e roteadas para um tópico do Pub/Sub. Para informações sobre como visualizar entradas de registro roteadas para o Pub/Sub, consulte Ver registros roteados para o Pub/Sub.
  • Splunk: oferece suporte ao Splunk. É preciso rotear as entradas de registro para um tópico do Pub/Sub e assinar esse tópico usando o Splunk.
  • Projeto do Google Cloud: rotear entradas de registro para outro projeto do Google Cloud. Quando você encaminha entradas de registro para um projeto diferente do Google Cloud, o roteador de registros do projeto de destino recebe as entradas de registro e as processa. Os coletores no projeto de destino determinam como as entradas de registro recebidas são roteadas. O Error Reporting pode analisar entradas de registro quando o projeto de destino as encaminha para um bucket de registros de propriedade do projeto de destino.
  • Outros recursos: encaminhe suas entradas de registro para um destino compatível que esteja em um projeto diferente. Para informações sobre os caminhos a serem usados, consulte Formatos de caminho de destino.

Para mais informações, incluindo suporte à regionalidade de dados, consulte Visão geral de roteamento e armazenamento.

Categorias de registros

As categorias de registro ajudam a descrever as informações de registro disponíveis. Elas não são mutuamente exclusivas:

  • Os registros de plataforma são gravados pelos serviços do Google Cloud. Esses registros podem ajudar você a depurar e solucionar problemas, além de ajudar a entender melhor os serviços do Google Cloud que está usando. Por exemplo, os registros de fluxo de VPC registram uma amostra de fluxos de rede enviados e recebidos por instâncias de VM.

  • Os registros de componentes são semelhantes aos registros de plataforma, mas são gerados por componentes de software fornecidos pelo Google e executados nos sistemas. Por exemplo, o GKE fornece componentes de software que os usuários podem executar na própria VM ou no próprio data center. Os registros são gerados a partir das instâncias do GKE do usuário e enviados ao projeto do Google Cloud de um usuário. O GKE usa os registros ou os metadados para dar suporte ao usuário.

  • Os registros de segurança ajudam a responder "quem fez o quê, onde e quando":

    • Os Registros de auditoria do Cloud fornecem informações sobre atividades administrativas e acessos nos recursos do Google Cloud. A ativação dos registros de auditoria ajuda as entidades de segurança, auditoria e conformidade a monitorar dados e sistemas do Google Cloud em busca de possíveis vulnerabilidades ou uso externo indevido de dados. Para uma lista de serviços compatíveis com o Google Cloud, consulte Serviços do Google com registros de auditoria.

    • A transparência no acesso fornece registros de ações realizadas pela equipe do Google ao acessar seu conteúdo do Google Cloud. Os registros de transparência no acesso ajudam a rastrear a conformidade com os requisitos legais e regulamentares da organização. Para uma lista de serviços compatíveis com o Google Cloud, consulte Serviços do Google com registros de transparência no acesso.

  • Os registros gravados pelo usuário são gravados por aplicativos e serviços personalizados. Normalmente, esses registros são gravados no Cloud Logging usando um dos seguintes métodos:

  • Registros de várias nuvens e Registros de nuvem híbrida referem-se a registros de outros provedores de nuvem, como o Microsoft Azure, e registros da infraestrutura local.

Modelo de dados para registros

O modelo de dados que o Cloud Logging usa para organizar os dados de registro determina as dimensões em que é possível consultar esses dados. Por exemplo, como um registro é uma coleção nomeada de entradas individuais, é possível consultar os dados pelo nome do registro. Da mesma forma, como cada registro é composto por entradas de registro formatadas como objetos LogEntry, é possível gravar consultas que recuperam apenas as entradas de registro em que o valor de um campo LogEntry corresponde a alguns critérios. Por exemplo, é possível exibir apenas as entradas de registro cujo campo severity tenha o valor de ERROR.

Cada entrada de registro registra o status ou descreve um evento específico, como a criação de uma instância de VM, e consiste minimamente em:

  • Carimbo de data/hora que indica quando o evento ocorreu ou quando foi recebido pelo Cloud Logging.
  • Informações sobre a origem da entrada de registro. Essa origem é chamada de recurso monitorado. Exemplos de recursos monitorados incluem instâncias de VM individuais do Compute Engine e contêineres do Google Kubernetes Engine. Para ver uma lista completa dos tipos de recursos monitorados, consulte Recursos e serviços monitorados.
  • Um payload, também conhecido como mensagem, fornecido como dados textuais não estruturados ou como dados textuais estruturados no formato JSON.

  • O nome do registro ao qual ele pertence. O nome de um registro inclui o caminho completo do recurso a que as entradas de registro pertencem, seguido por um identificador. Veja a seguir exemplos de nomes de registro:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Controle de acesso

Os papéis do Identity and Access Management controlam a capacidade de um principal de acessar registros. É possível conceder papéis predefinidos aos principais ou criar papéis personalizados. Para mais informações sobre as permissões necessárias, consulte Controle de acesso.

Retenção

As entradas de registro são armazenadas em buckets de registros durante um determinado período. Depois, são excluídas. Para mais informações, consulte Visão geral de roteamento e armazenamento: retenção.

Controles de preços e custos

Para informações sobre preços, consulte Preços do Cloud Logging.

Para conferir estratégias para reduzir os custos do Logging, consulte Controles de custo do Logging.