Visão geral do Cloud Logging

Este documento mostra uma visão geral do Cloud Logging, um serviço sistema de gerenciamento de registros com suporte para armazenamento, pesquisa, análise e monitoramento. O Cloud Logging coleta registros dos recursos do Google Cloud automaticamente. Também é possível coletar registros dos seus aplicativos, recursos no local e recursos de outros provedores de nuvem. Você também pode configurar políticas de alertas para que o Cloud Monitoring notifique você se determinados tipos de eventos forem informados nos registros. Para requisitos regulatórios por motivos de segurança, é possível determinar onde os dados de registro são armazenados.

Colete registros dos seus aplicativos e softwares de terceiros

É possível coletar registros de aplicativos gravados instrumentando aplicativo usando um biblioteca de cliente. No entanto, nem sempre necessárias para instrumentar seu aplicativo. Por exemplo, para alguns você pode usar o Agente de operações para enviar registros que foram gravados stdout ou stderr ao projeto do Google Cloud.

Também é possível coletar dados de registro de apps de terceiros, como nginx, instalando o Agente de operações e configurando-o para gravar registros desse aplicativo para seu projeto do Google Cloud.

Consulte Qual biblioteca de cliente ou agente do Logging você deve usar? para obter informações que podem ajudá-lo a decidir qual abordagem é mais adequada ao seu e cumprimento de requisitos regulatórios.

Solucionar problemas e analisar registros

É possível visualizar e analisar seus dados de registro usando o console do Google Cloud: com as páginas da Análise de registros ou da Análise de dados de registros. É possível consultar e exibir registros com as duas interfaces; No entanto, eles usam linguagens de consulta e mas têm recursos diferentes.

Quando você quiser resolver problemas e analisar o desempenho de serviços e aplicativos, recomendamos usar a Análise de registros. Essa interface foi projetada para visualizar entradas de registros individuais e encontrar entradas de registros relacionadas. Para por exemplo, quando uma entrada de registro faz parte de um error group, essa entrada será anotada com um menu de opções para acessar mais informações sobre o erro.

Quando você tem interesse em realizar operações agregadas nos registros, por exemplo, para calcular latência média de solicitações HTTP emitidas para um URL específico ao longo do tempo, use na interface da Análise de dados de registros. Com essa interface, você usa SQL para consultar dados de registro e, portanto, é possível usar os recursos de SQL para ajudar você a entender seus dados de registro.

Caso prefira consultar os dados de registro de maneira programática, use a a API Cloud Logging ou a Google Cloud CLI para exportar dados de registro da sua projeto do Google Cloud.

Para mais informações, consulte Visão geral de consultas e registros.

Monitorar seus registros

É possível configurar o Cloud Logging para receber notificações quando determinados tipos de eventos ocorrer nos registros. Essas notificações podem ser enviadas quando um padrão específico aparece em uma entrada de registro ou quando uma tendência é detectada nos dados de registro. Se você quiser conferir as taxas de erro dos serviços do Google Cloud, Depois, acesse o painel do Cloud Logging, que é pré-configurado.

Por exemplo, se você quiser ser notificado quando um determinado uma mensagem de erro, como um evento crítico relacionado à segurança, é possível e criar uma política de alertas com base em registros. Uma política de alertas com base em registros monitora registros para um padrão específico. Se esse padrão for encontrado, O monitoramento envia uma notificação e cria um incidente. Políticas de alertas com base em registros são úteis para eventos importantes, mas raros, como o seguinte:

  • quiser receber uma notificação quando um evento aparecer em um registro de auditoria; por exemplo, um usuário acessa a chave de segurança de uma conta de serviço.
  • O aplicativo grava mensagens de implantação em registros, e você quer ser notificado quando uma alteração na implantação for registrada.

Também é possível monitorar tendências ou a ocorrência de eventos ao longo do tempo. Para essas situações, crie uma métrica com base em registros. Uma métrica com base em registros pode contar o número de entradas de registro que correspondem a alguns ou podem extrair e organizar informações como tempos de resposta em histogramas. Também é possível configurar políticas de alertas que notificam você quando as mudanças no desempenho, por exemplo, o tempo de resposta aumenta para um nível inaceitável. As métricas com base em registros são adequadas para realizar uma das seguintes ações:

  • Conte as ocorrências de uma mensagem, como um aviso ou erro, em seus registros e receber uma notificação quando o número de ocorrências ultrapassar um limite.
  • Observar tendências nos dados, como valores de latência nos registros, e receber uma notificação se os valores mudarem de forma inaceitável.
  • Crie gráficos para exibir os dados numéricos extraídos dos registros.

Para mais informações, consulte Monitorar seus registros.

Armazenamento de registro

Não é necessário configurar o local onde os registros são armazenados. Por padrão, seu O projeto do Google Cloud armazena automaticamente todos os registros que recebe um bucket de registros do Cloud Logging. Por exemplo, se sua O projeto do Google Cloud contém uma instância do Compute Engine e todos os registros As gerações do Compute Engine são armazenadas automaticamente para você. No entanto, se precisar, você pode configurar vários aspectos sobre seu armazenamento de registros, como quais registros são que são descartados e onde os registros são armazenados.

Você pode rotear ou encaminhar entradas de registro para os seguintes destinos, que pode estar no mesmo projeto do Google Cloud ou em outro:

  • Bucket do Cloud Logging: fornece armazenamento no Cloud Logging. Um bucket de registros pode armazenar entradas de registro recebidos por vários projetos do Google Cloud. É possível combinar do Cloud Logging com outros dados. Para isso, faça upgrade de um bucket de registros para usar a Análise de dados de registros e, em seguida, criar um conjunto de dados vinculado do BigQuery. Para informações sobre como visualizar entradas de registro armazenadas em buckets de registros, consulte Visão geral de consultas e registros e Conferir registros roteados para buckets do Cloud Logging.
  • Conjunto de dados do BigQuery: fornece armazenamento de entradas de registro em conjuntos de dados do BigQuery. Use os recursos de análise de Big Data nas entradas de registro armazenadas. Para combinar seus dados do Cloud Logging com outros fontes de dados, recomendamos que você faça o upgrade dos buckets de registros a Análise de dados de registros e, em seguida, criar um conjunto de dados do BigQuery vinculado. Para mais informações sobre como visualizar entradas de registro roteadas para o BigQuery, consulte Veja os registros roteados para o BigQuery.
  • Bucket do Cloud Storage: armazenamento de entradas de registro no Cloud Storage. Registrar são armazenadas como arquivos JSON. Para mais informações sobre como acessar os registros entradas roteadas para o Cloud Storage, consulte Ver registros roteados para o Cloud Storage.
  • Tópico do Pub/Sub: oferece suporte para integrações de terceiros. Registrar as entradas são formatadas em JSON e roteadas para um bucket do Pub/Sub tópico. Para informações sobre como visualizar entradas de registro roteadas para Pub/Sub, consulte Veja os registros roteados para o Pub/Sub.
  • Splunk: oferece suporte ao Splunk. É preciso rotear as entradas de registro para um tópico do Pub/Sub e depois assinar esse tópico usando o Splunk.
  • Projeto do Google Cloud: rotear entradas de registro para outro projeto do Google Cloud. Quando você roteia as entradas de registro para outro projeto do Google Cloud, o roteador de registros do projeto recebe e processa as entradas. O no projeto de destino determinam como as entradas de registro recebidas encaminhados. O Error Reporting pode analisar entradas de registro quando o roteia essas entradas para um bucket de registros de propriedade do projeto.
  • Outros recursos: encaminhe suas entradas de registro para um destino compatível que está em um projeto diferente. Para informações sobre os caminhos a serem usados, consulte Formatos de caminho de destino.

Para mais informações, incluindo suporte à regionalidade de dados, consulte Visão geral de roteamento e armazenamento.

Categorias de registros

As categorias de registro ajudam a descrever as informações de registro disponíveis para você. as categorias não são mutuamente exclusivas:

  • Os registros de plataforma são gravados pelos serviços do Google Cloud. Esses registros pode ajudar a depurar e resolver problemas, além de ajudar a entender melhor os serviços do Google Cloud que você usa. Por exemplo Os registros de fluxo de VPC registram uma amostra fluxos de rede enviados e recebidos por instâncias de VM.

  • Os registros de componentes são semelhantes aos registros de plataforma, mas são gerados componentes de software fornecidos pelo Google que são executados nos seus sistemas; Para exemplo, o GKE fornece componentes de software que os usuários podem executadas na própria VM ou em um data center. Os registros são gerados instâncias do GKE de um usuário e enviadas ao projeto do Google Cloud. O GKE usa os registros ou os metadados deles para oferecer suporte ao usuário.

  • Os registros de segurança ajudam a responder "quem fez o quê, onde e quando":

    • Os Registros de auditoria do Cloud fornecem informações atividades administrativas e acessos no seu recursos do Google Cloud. Ativar os registros de auditoria ajuda a segurança, auditoria e compliance as entidades monitoram os dados e sistemas do Google Cloud em busca de possíveis vulnerabilidades ou uso indevido de dados externos. Para uma lista de serviços compatíveis com o Google Cloud, consulte Serviços do Google com registros de auditoria.

    • Transparência no acesso fornece registros das ações realizadas pela equipe do Google ao para acessar seu conteúdo do Google Cloud. Registros de Transparência no acesso pode ajudar você a acompanhar a conformidade com as exigências e regulatórios para sua organização. Para uma lista de serviços compatíveis com o Google Cloud, consulte Serviços do Google com registros de Transparência no acesso.

  • Os registros gravados pelo usuário são gravados por aplicativos e serviços personalizados. Normalmente, esses registros são gravados no Cloud Logging usando um dos seguintes métodos:

  • Os registros de multicloud e os registros de nuvem híbrida se referem aos registros provedores de nuvem, como o Microsoft Azure, registros da infraestrutura no local.

Modelo de dados para registros

O modelo de dados que o Cloud Logging usa para organizar os dados de registro determina as dimensões sobre as quais você pode consultar esses dados. Por exemplo: Como um log é uma coleção nomeada de entradas individuais, você pode consultar seus dados pelo nome do registro. Da mesma forma, como cada registro é composto de entradas de registro formatadas como objetos LogEntry, podem gravar consultas que recuperam apenas as entradas de registro em que o valor um campo LogEntry corresponde a alguns critérios. Por exemplo, você só pode exibir essas entradas de registro com o campo severity com o valor ERROR.

Cada entrada de registro registra o status ou descreve um evento específico, como a criação de uma instância de VM e consiste no mínimo possível em:

  • Carimbo de data/hora que indica quando o evento ocorreu ou quando foi recebido pelo Cloud Logging.
  • Informações sobre a origem da entrada de registro. Essa origem é chamada recurso monitorado. Exemplos de recursos monitorados incluem instâncias instâncias de VM do Compute Engine e contêineres do Google Kubernetes Engine. Para uma lista completa dos tipos de recursos monitorados, consulte Recursos e serviços monitorados.
  • Um payload, também conhecido como mensagem, fornecido como texto não estruturado. dados ou como dados textuais estruturados no formato JSON.

  • O nome do registro ao qual ele pertence. O nome de um registro inclui o nome caminho do recurso a que as entradas de registro pertencem, seguido por uma identificador. Veja a seguir exemplos de nomes de registro:

    • projects/my-project/logs/stderr
    • projects/my-project/logs/stdout
    • projects/my-project/compute.googleapis.com/activity

Controle de acesso

Os papéis do Identity and Access Management controlam a capacidade de um principal de acessar registros. É possível conceder papéis predefinidos aos principais ou podem criar papéis personalizados. Para mais informações sobre as permissões necessárias, consulte Controle de acesso.

Retenção

As entradas de registro são armazenadas em buckets de registros durante um determinado período. Depois, são excluídas. Para mais informações, consulte Visão geral de roteamento e armazenamento: retenção.

Controles de preços e custos

Para informações sobre preços, consulte Preços do Cloud Logging.

Para conferir estratégias para reduzir os custos do Logging, consulte Controles de custo do Logging.