Visão geral do Cloud Logging

Este documento mostra uma visão geral do Cloud Logging, um serviço de registros com suporte para armazenamento, pesquisa, análise e monitoramento. O Cloud Logging coleta automaticamente dados de registro dos recursos do Google Cloud. Seus aplicativos, recursos no local e recursos de outros provedores de nuvem podem enviar dados de registro para o Cloud Logging. Também é possível configurar políticas de alertas para que o Cloud Monitoring notifique quando certos tipos de eventos são informados nos seus dados de registro. Para regulamentações ou por motivos de segurança, é possível determinar onde os dados de registro são armazenados.

Colete registros dos seus aplicativos e softwares de terceiros

É possível coletar registros de aplicativos gravados instrumentando aplicativo usando um biblioteca de cliente. No entanto, nem sempre necessárias para instrumentar seu aplicativo. Por exemplo, em algumas configurações, é possível usar o Agente de operações para enviar registros gravados em stdout ou stderr ao projeto do Google Cloud.

Também é possível coletar dados de registro de apps de terceiros, como nginx, instalando o Agente de operações e configurando-o para gravar registros desse aplicativo para seu projeto do Google Cloud.

Consulte Qual biblioteca de cliente ou agente do Logging você deve usar? para obter informações que podem ajudá-lo a decidir qual abordagem é mais adequada ao seu e cumprimento de requisitos regulatórios.

Solucionar problemas e analisar registros

É possível visualizar e analisar seus dados de registro usando o console do Google Cloud: com as páginas da Análise de registros ou da Análise de dados de registros. É possível consultar e visualizar registros com as duas interfaces. No entanto, elas usam linguagens de consulta diferentes e têm recursos diferentes.

Quando você quiser solucionar problemas e analisar o desempenho de serviços e aplicativos, recomendamos usar a Análise de registros. Essa interface foi projetada para exibir entradas de registro individuais e encontrar entradas de registro relacionadas. Para por exemplo, quando uma entrada de registro faz parte de um error group, essa entrada será anotada com um menu de opções para acessar mais informações sobre o erro.

Quando você quiser realizar operações agregadas nos seus registros, por exemplo, para calcular a latência média de solicitações HTTP emitidas para um URL específico ao longo do tempo, use a interface do Log Analytics. Com essa interface, você usa SQL para consultar dados de registro e, portanto, é possível usar os recursos de SQL para ajudar você a entender seus dados de registro.

Se você preferir consultar os dados de registro de forma programática, use a API Cloud Logging ou a CLI do Google Cloud para exportar dados de registro do seu projeto do Google Cloud.

Para mais informações, consulte a Visão geral dos registros de consulta e visualização.

Monitorar seus registros

É possível configurar o Cloud Logging para receber notificações quando determinados tipos de eventos ocorrer nos registros. Essas notificações podem ser enviadas quando um padrão específico aparece em uma entrada de registro ou quando uma tendência é detectada nos dados de registro. Se você quiser conferir as taxas de erro dos seus serviços do Google Cloud, acesse o painel do Cloud Logging, que já está pré-configurado.

Por exemplo, se você quiser receber uma notificação quando uma mensagem específica, como um evento crítico relacionado à segurança, ocorrer, crie uma política de alertas com base em registros. Uma política de alertas com base em registros monitora registros para um padrão específico. Se esse padrão for encontrado, O monitoramento envia uma notificação e cria um incidente. Políticas de alertas com base em registros são úteis para eventos importantes, mas raros, como o seguinte:

  • Você quer receber uma notificação quando um evento aparecer em um registro de auditoria. por exemplo, um usuário acessa a chave de segurança de uma conta de serviço.
  • O aplicativo grava mensagens de implantação em registros, e você quer ser notificado quando uma alteração na implantação for registrada.

Você também pode monitorar tendências ou a ocorrência de eventos ao longo do tempo. Para essas situações, crie uma métrica com base em registros. Uma métrica com base em registros pode contar o número de entradas de registro que correspondem a alguns ou podem extrair e organizar informações como tempos de resposta em histogramas. Também é possível configurar políticas de alertas que notificam você quando ocorrem mudanças de desempenho, por exemplo, quando o tempo de resposta aumenta para um nível inaceitável. As métricas com base em registros são adequadas quando você quer realizar uma destas ações:

  • Conte as ocorrências de uma mensagem, como um aviso ou erro, em seus registros e receber uma notificação quando o número de ocorrências ultrapassar um limite.
  • Observar tendências nos dados, como valores de latência nos registros, e receber uma notificação se os valores mudarem de maneira inaceitável.
  • Crie gráficos para exibir os dados numéricos extraídos dos registros.

Para mais informações, consulte Monitorar seus registros.

Armazenamento de registro

Não é necessário configurar o local onde os registros são armazenados. Por padrão, seu projeto do Google Cloud armazena automaticamente todos os registros recebidos em um bucket de registro do Cloud Logging. Por exemplo, se sua O projeto do Google Cloud contém uma instância do Compute Engine e todos os registros As gerações do Compute Engine são armazenadas automaticamente para você. No entanto, se necessário, você pode configurar vários aspectos sobre o armazenamento de registros, como quais registros são armazenados, quais são descartados e onde eles são armazenados.

É possível encaminhar ou redirecionar entradas de registro para os seguintes destinos, que podem estar no mesmo projeto do Google Cloud ou em um projeto diferente:

  • Bucket do Cloud Logging: oferece armazenamento no Cloud Logging. Um bucket de registros pode armazenar entradas de registro recebidos por vários projetos do Google Cloud. O bucket de registro pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. Para informações sobre como visualizar entradas de registro armazenadas em buckets de registro, consulte Visão geral dos registros de consulta e visualização e Visualizar registros roteados para buckets do Cloud Logging.

    É possível combinar do Cloud Logging com outros dados. Para isso, faça upgrade de um bucket de registros para usar na Análise de dados de registros e, em seguida, criar um conjunto de dados vinculado, que é um conjunto de dados que pode ser consultado pelo BigQuery Studio e o Looker Studio páginas de destino.

  • Conjunto de dados do BigQuery: armazena as entradas de registro em um um conjunto de dados gravável do BigQuery. O conjunto de dados do BigQuery pode estar no mesmo projeto em que as entradas de registro são originadas ou em um projeto diferente. É possível usar os recursos de análise de Big Data nas entradas de registro armazenadas. Para informações sobre como visualizar entradas de registro roteadas para o BigQuery, consulte Veja os registros roteados para o BigQuery.

  • Bucket do Cloud Storage: armazena entradas de registro no Cloud Storage. O bucket do Cloud Storage pode estar no mesmo projeto em que as entradas de registro originam ou em um projeto diferente. As entradas de registro são armazenadas na forma de arquivos JSON. Para informações sobre como visualizar entradas de registro roteadas para o Cloud Storage, consulte Conferir registros roteados para o Cloud Storage.

  • Tópico do Pub/Sub: oferece suporte a integrações de terceiros. As entradas de registro são formatadas em JSON e encaminhadas para um tópico do Pub/Sub. O tópico pode estar no mesmo projeto em que as entradas de registro originam ou em um projeto diferente. Para informações sobre como visualizar entradas de registro roteadas para Pub/Sub, consulte Veja os registros roteados para o Pub/Sub.

  • Projeto do Google Cloud: roteie as entradas de registro para outro projeto do Google Cloud. Nessa configuração, os coletores no projeto de destino processam as entradas de registro.

Para mais informações, incluindo suporte à regionalidade de dados, consulte Visão geral de roteamento e armazenamento.

Categorias de registros

As categorias de registro ajudam a descrever as informações de registro disponíveis para você. as categorias não são mutuamente exclusivas:

  • Os registros de plataforma são gravados pelos serviços do Google Cloud. Esses registros pode ajudar a depurar e resolver problemas, além de ajudar a entender melhor os serviços do Google Cloud que você usa.

  • Os registros de componentes são semelhantes aos registros de plataforma, mas são gerados Componentes de software fornecidos pelo Google que são executados nos seus sistemas. Para exemplo, o GKE fornece componentes de software que os usuários podem executadas na própria VM ou em um data center. Os registros são gerados nas instâncias do GKE e enviados ao projeto do Google Cloud do usuário. O GKE usa os registros ou os metadados deles para dar suporte ao usuário.

  • Os registros de segurança ajudam a responder "quem fez o quê, onde e quando":

    • Os Registros de auditoria do Cloud fornecem informações atividades administrativas e acessos no seu recursos do Google Cloud. Ativar os registros de auditoria ajuda as entidades de segurança, auditoria e compliance a monitorar dados e sistemas do Google Cloud em busca de possíveis vulnerabilidades ou uso externo indevido de dados. Para uma lista de serviços compatíveis com o Google Cloud, consulte Serviços do Google com registros de auditoria.

  • Os registros gravados pelo usuário são gravados por aplicativos e serviços personalizados. Normalmente, esses registros são gravados no Cloud Logging usando um dos seguintes métodos:

Modelo de dados para registros

O modelo de dados usado pelo Cloud Logging para organizar os dados de registro determina as dimensões em que você pode consultar esses dados. Por exemplo: Como um registro é uma coleção nomeada de entradas individuais, é possível consultar seus dados pelo nome do registro. Da mesma forma, como cada registro é composto de entradas de registro formatadas como objetos LogEntry, é possível escrever consultas que extraem apenas as entradas de registro em que o valor de um campo LogEntry corresponde a alguns critérios. Por exemplo, você só pode exibir essas entradas de registro com o campo severity com o valor ERROR.

Cada entrada de registro registra o status ou descreve um evento específico, como a criação de uma instância de VM e consiste no mínimo possível em:

  • Carimbo de data/hora que indica quando o evento ocorreu ou quando foi recebido pelo Cloud Logging.
  • Informações sobre a origem da entrada de registro. Essa fonte é chamada de recurso monitorado. Exemplos de recursos monitorados incluem instâncias de VM individuais do Compute Engine e contêineres do Google Kubernetes Engine. Para uma lista completa dos tipos de recursos monitorados, consulte Recursos e serviços monitorados.
  • Um payload, também conhecido como mensagem, fornecido como texto não estruturado. dados ou como dados textuais estruturados no formato JSON.

  • O nome do registro ao qual ele pertence. O nome de um registro inclui o nome caminho do recurso ao qual pertencem as entradas de registro, seguido por um identificador. Veja a seguir exemplos de nomes de registro:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Controle de acesso

Os papéis do Identity and Access Management controlam a capacidade de um principal de acessar registros. É possível conceder papéis predefinidos aos principais ou podem criar papéis personalizados. Para mais informações sobre as permissões necessárias, consulte Controle de acesso.

Retenção

As entradas de registro são armazenadas em buckets de registros durante um determinado período. Depois, são excluídas. Para mais informações, consulte Visão geral de roteamento e armazenamento: retenção.

Preços

O Cloud Logging não cobra pelo encaminhamento de registros para um destino compatível. No entanto, o destino pode aplicar cobranças. Com exceção do bucket de registros _Required, O Cloud Logging cobra pelo streaming de registros para buckets para armazenamento maior que o período de armazenamento padrão do bucket de registros.

O Cloud Logging não cobra pela cópia de registros, pela definição de escopos de registro ou por consultas emitidas nas páginas Explorador de registros ou Análise de registros.

Para mais informações, consulte estes documentos: