Neste documento, apresentamos uma visão geral do Cloud Logging, um sistema de gerenciamento de registros em tempo real com suporte de armazenamento, pesquisa, análise e monitoramento. O Cloud Logging coleta automaticamente registros de recursos do Google Cloud. Também é possível coletar registros de aplicativos, recursos locais e recursos de outros provedores de nuvem. É possível configurar alertas para notificar você caso determinados tipos de eventos sejam relatados nos registros. Por motivos regulamentares ou de segurança, determine onde os dados do registro são armazenados.
Colete registros de seus aplicativos e software de terceiros
É possível coletar registros de aplicativos que você cria instrumentando seu aplicativo com uma biblioteca de cliente. No entanto, nem sempre
é necessário instrumentar seu aplicativo. Por exemplo, em algumas
configurações, é possível usar o agente de operações
para enviar registros gravados em
stdout ou stderr no projeto do Cloud.
Também é possível coletar dados de registros de aplicativos de terceiros, como nginx.
Basta instalar o agente de operações e configurá-los para gravar
registros dele no seu projeto do Google Cloud.
Consulte Qual deles usar: agente do Logging ou biblioteca de cliente? para informações que podem ajudar você a decidir qual abordagem é mais adequada aos seus requisitos.
Resolver problemas e analisar registros
É possível visualizar e analisar seus dados de registro usando o console do Google Cloud, seja com o Explorador de registros ou com as páginas de análise de registros. É possível consultar e ver os registros com as duas interfaces. No entanto, eles usam diferentes linguagens de consulta e têm recursos diferentes.
Se você quiser resolver problemas e analisar o desempenho dos serviços e aplicativos, recomendamos que você use o Explorador de registros. Essa interface foi projetada para permitir que você visualize entradas de registro individuais e encontre entradas de registro relacionadas. Por exemplo, quando uma entrada de registro faz parte de um grupo de erros, essa entrada é anotada com um menu de opções em que você acessa mais informações sobre o erro.
Quando você tiver interesse em realizar operações agregadas nos registros, por exemplo, para calcular a latência média de solicitações HTTP emitidas para um URL específico, use a interface de análise de registros. Com essa interface, você usa o SQL para consultar os dados de registro e, portanto, aproveita os recursos do SQL para entender os dados de registro.
Se você preferir consultar os dados de registro de maneira programática, use a API Cloud Logging ou a Google Cloud CLI para exportar dados de registro do projeto do Cloud.
Para mais informações, consulte Visão geral de registros de consulta e visualização.
Monitorar seus registros
É possível configurar o Cloud Logging para enviar notificações quando determinados tipos de eventos ocorrerem nos registros. Essas notificações podem ser enviadas quando um padrão específico aparece em uma entrada de registro ou quando uma tendência é detectada nos dados de registro. Se você tiver interesse em visualizar as taxas de erro dos seus serviços do Google Cloud, veja o painel do Cloud Logging, que é pré-configurado.
Por exemplo, se você quiser receber uma notificação quando ocorrer uma mensagem específica, como um evento crítico relacionado à segurança, crie um alerta com base em registros. Um alerta baseado em registros monitora os registros em busca de um padrão específico. Se esse padrão for encontrado, ele enviará uma notificação e criará um incidente. Os alertas baseados em registros são adequados para eventos importantes, mas raros, como os seguintes:
- Você quer receber uma notificação quando um evento aparecer em um registro de auditoria. Por exemplo, um usuário acessa a chave de segurança de uma conta de serviço.
- O aplicativo grava mensagens de implantação em registros, e você quer ser notificado quando uma alteração na implantação for registrada.
Como alternativa, monitore as tendências ou a ocorrência de eventos ao longo do tempo. Para essas situações, crie uma métrica com base em registros. Uma métrica com base em registros pode contar o número de entradas de registro que correspondem a algum critério ou pode extrair e organizar informações como tempos de resposta em histogramas. Também é possível configurar alertas que notificam você quando ocorrem mudanças de desempenho. Por exemplo, o tempo de resposta aumenta para um nível inaceitável. As métricas com base em registros são adequadas quando você quer fazer as seguintes ações:
- Contar as ocorrências de uma mensagem, como um aviso ou um erro, nos registros e receber uma notificação quando o número de ocorrências ultrapassar um limite.
- Observe as tendências nos seus dados, como valores de latência nos registros, e receba uma notificação se os valores mudarem de forma inaceitável.
- Crie gráficos para exibir os dados numéricos extraídos dos registros.
Para mais informações, consulte Monitorar seus registros.
Armazenamento de registro
Não é necessário configurar o local em que os registros são armazenados. Por padrão, seu projeto do Cloud armazena automaticamente todos os registros que recebe em um bucket do Cloud Logging. Por exemplo, se o projeto do Cloud tiver uma instância do Compute Engine, todos os registros gerados pelo Compute Engine serão armazenados automaticamente. No entanto, se for necessário, configure vários aspectos sobre o armazenamento de registros, como quais registros serão armazenados, que serão descartados e onde eles serão armazenados.
É possível encaminhar, ou encaminhar, entradas de registro para os seguintes destinos, que podem estar no mesmo projeto do Google Cloud ou em um projeto diferente do Google Cloud:
- Buckets de registros do Cloud Logging: fornece armazenamento no Cloud Logging. Um bucket de registros pode armazenar registros ingeridos por vários projetos do Google Cloud. Especifique o período de armazenamento de dados, o local de armazenamento de dados e as visualizações de registro em um bucket de registros. Com as visualizações de registro, é possível controlar quais registros em um bucket de registros um usuário pode acessar. Os buckets de registro são o armazenamento recomendado quando você quer resolver problemas de aplicativos e serviços ou analisar os dados de registro. Se você precisar combinar seus dados do Cloud Logging com outras fontes de dados, armazene os registros em buckets de registros que são atualizados para usar a análise de registros e, em seguida, vincule esse bucket ao BigQuery. Para informações sobre como visualizar registros, consulte Visão geral de registros de consulta e visualização e Ver registros roteados para buckets do Cloud Logging.
- Tópicos do Pub/Sub: oferece suporte para integrações de terceiros, como o Splunk, com o Logging. As entradas de registro são formatadas em JSON e entregues em um tópico do Pub/Sub. Para informações sobre como visualizar esses registros, a organização deles e como configurar uma integração de terceiros, consulte Ver registros roteados para o Pub/Sub.
- Conjuntos de dados do BigQuery: fornece armazenamento de entradas de registro em conjuntos de dados do BigQuery. Você pode usar os recursos de análise de Big Data nos registros armazenados. Se você precisar combinar seus dados do Cloud Logging com outras fontes de dados, encaminhe os registros para o BigQuery. Uma alternativa é armazenar os registros em buckets de registros que são atualizados para usar a análise de registros e, em seguida, vinculados ao BigQuery. Para informações sobre como visualizar registros roteados para o BigQuery, consulte Ver registros roteados para o BigQuery.
- Buckets do Cloud Storage: fornece armazenamento de baixo custo e de longo prazo para dados de registro no Cloud Storage. As entradas de registro são armazenadas como arquivos JSON. Para informações sobre como ver esses registros, como eles são organizados e como os registros atrasados são processados, consulte Ver registros roteados para o Cloud Storage.
Para mais informações, incluindo suporte à região de dados, consulte Visão geral de roteamento e armazenamento.
Categorias de registros
As categorias de registro ajudam a descrever as informações de registro disponíveis para você. As categorias não são mutuamente exclusivas:
Os registros da plataforma são registros gravados pelos serviços do Google Cloud. Esses registros podem ajudar você a depurar e resolver problemas, além de entender melhor os serviços do Google Cloud que você está usando. Por exemplo, os registros de fluxo de VPC registram uma amostra de fluxos de rede enviados e recebidos por instâncias de VM.
Os registros de componentes são semelhantes aos registros da plataforma, mas são gerados por componentes de software fornecidos pelo Google que são executados nos sistemas. Por exemplo, o GKE fornece componentes de software que os usuários podem executar na própria VM ou no próprio data center. Os registros são gerados a partir das instâncias do GKE do usuário e enviados para o projeto do Cloud de um usuário. O GKE usa os registros ou os metadados deles para oferecer suporte ao usuário.
Os registros de segurança ajudam você a responder "quem fez o quê, onde e quando":
Os Registros de auditoria do Cloud fornecem informações sobre atividades administrativas e acessos nos seus recursos do Google Cloud. A ativação de registros de auditoria ajuda as entidades de segurança, auditoria e conformidade a monitorar dados e sistemas do Google Cloud em busca de possíveis vulnerabilidades ou uso externo de dados. Para uma lista dos serviços compatíveis do Google Cloud, consulte Serviços do Google com registros de auditoria.
A Transparência no acesso fornece registros de ações realizadas pela equipe do Google ao acessar o conteúdo do Google Cloud. Os registros da Transparência no acesso podem ajudar você a acompanhar a conformidade com os requisitos legais e regulatórios da sua organização. Para ver uma lista dos serviços compatíveis do Google Cloud, consulte Serviços do Google com registros de transparência no acesso.
Os registros gravados pelo usuário são registros gravados por aplicativos e serviços personalizados. Normalmente, esses registros são gravados no Cloud Logging usando um dos seguintes métodos:
Agente de operações ou agente do Logging: para ver uma lista dos registros disponíveis, consulte Registros do agente do Logging padrão.
Registros de várias nuvens e de nuvem híbrida se referem a registros de outros provedores de nuvem, como o Microsoft Azure, e de registros de infraestrutura local.
Modelo de dados para registros
O modelo de dados que o Cloud Logging usa para organizar os dados de registro
determina as dimensões sobre as quais você pode consultar esses dados. Por exemplo, como log é uma coleção nomeada de entradas individuais, é possível consultar seus dados pelo nome do registro. Da mesma forma, como cada registro é composto
de entradas de registro formatadas como objetos LogEntry, é possível
criar consultas que recuperam apenas as entradas de registro em que o valor de
um campo LogEntry corresponde a alguns critérios. Por exemplo, é possível exibir apenas
as entradas de registro em que o campo severity tenha o valor ERROR.
Cada entrada de registro registra o status ou descreve um evento específico, como a criação de uma instância de VM, e consiste minimamente no seguinte:
- Carimbo de data/hora que indica quando o evento ocorreu ou quando foi recebido pelo Cloud Logging.
- Informações sobre a origem da entrada de registro. Essa fonte é chamada de recurso monitorado. Exemplos de recursos monitorados incluem instâncias individuais de VM do Compute Engine e contêineres do Google Kubernetes Engine. Para ver uma lista completa dos tipos de recursos monitorados, consulte Serviços e recursos monitorados.
- Um payload, também conhecido como mensagem, fornecido como dados textuais não estruturados ou dados textuais estruturados no formato JSON.
O nome do registro ao qual ele pertence. O nome de um registro inclui o caminho completo do recurso ao qual as entradas de registro pertencem, seguido por um identificador. Veja a seguir exemplos de nomes de registros:
projects/my-project/logs/stderrprojects/my-project/logs/stdoutprojects/my-project/compute.googleapis.com/activity
Controle de acesso
Os papéis do Identity and Access Management controlam a capacidade de um principal acessar registros. É possível conceder papéis predefinidos aos principais ou criar papéis personalizados. Para mais informações sobre as permissões necessárias, consulte Controle de acesso.
Retenção
As entradas de registro são armazenadas em buckets de registros durante um determinado período. Depois, são excluídas. Para mais informações, consulte Visão geral de roteamento e armazenamento: retenção.
Preços
Para informações sobre preços, consulte Preços do Cloud Logging.