Consultar e analisar registros com a Análise de dados de registros

Este documento descreve como consultar e analisar os dados de registro armazenados em buckets de registro que foram atualizados para usar a Análise de registros. É possível consultar registros nesses buckets usando SQL, o que permite filtrar e agregar os registros. Para conferir os resultados da consulta, use a forma tabular ou visualize os dados com gráficos. Essas tabelas e gráficos podem ser salvas nos seus painéis personalizados.

É possível consultar uma visualização de registro em um bucket de registro. Quando você consulta uma visualização de registro, o esquema corresponde ao da estrutura de dados LogEntry.

Use o Explorador de registros para conferir as entradas de registro armazenadas em buckets de registro no seu projeto, independentemente de o bucket de registros ter sido atualizado para usar a Análise de registros.

A Análise de dados de registros não elimina entradas duplicadas, o que pode afetar a forma como você escreve suas consultas. Além disso, há algumas restrições ao usar o Log Analytics. Para mais informações sobre esses tópicos, consulte os seguintes documentos:

Sobre os conjuntos de dados vinculados

A Análise de dados de registros oferece suporte à criação de conjuntos de dados vinculados do BigQuery, que permitem que o BigQuery tenha acesso de leitura aos dados subjacentes. Se você optar por criar um conjunto de dados vinculado, poderá fazer o seguinte:

Este documento não descreve como criar um conjunto de dados vinculado ou como configurar o Log Analytics para executar consultas em slots reservados. Se você tiver interesse nesses tópicos, consulte Consultar um conjunto de dados vinculado no BigQuery.

Antes de começar

Esta seção descreve as etapas que você precisa concluir antes de usar a Análise de registros.

Configurar buckets de registros

Verifique se os buckets de registro foram atualizados para usar a Análise de registros:

  1. No console do Google Cloud, acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Para cada bucket de registros que tenha uma visualização de registro que você quer consultar, verifique se a coluna Log Analytics disponível mostra Aberto. Se a opção Upgrade for exibida, clique em Upgrade e conclua a caixa de diálogo.

Configurar papéis e permissões do IAM

Esta seção descreve os papéis ou as permissões do IAM necessários para usar o Log Analytics:

  • Para receber as permissões necessárias para usar a Análise de registros e as visualizações de registro de consulta, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

    É possível restringir um principal a uma visualização de registro específica adicionando uma condição do IAM à concessão de função de acessador de visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registro. Para mais informações, consulte Controlar o acesso a uma visualização de registro.

    Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

Consultar uma visualização de registro

Ao resolver um problema, você pode contar as entradas de registro com um campo que corresponde a um padrão ou calcular a latência média da solicitação HTTP. Para realizar essas ações, execute uma consulta SQL em uma visualização de registro.

Para emitir uma consulta SQL para uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registro, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela para a visualização de registro consultada. Esse nome tem o formato project_ID.region.bucket_ID.view_ID.

    Você também pode inserir uma consulta no painel Consulta ou editar uma consulta exibida. Para conferir exemplos de consultas, consulte Exemplos de consultas.

    Para especificar um período, recomendamos usar o seletor de período. No entanto, é possível adicionar uma cláusula WHERE que especifique o campo timestamp. Quando uma consulta inclui um campo timestamp, esse carimbo de data/hora substitui o intervalo de tempo selecionado no seletor de intervalo de tempo e o seletor é desativado.

  3. Na barra de ferramentas, verifique se o botão Executar consulta aparece.

    Se a barra de ferramentas mostrar Run in BigQuery, clique em Settings e selecione Log Analytics (default).

  4. Execute a consulta.

    A consulta é executada e o resultado dela é mostrado na guia Resultados.

    Você pode usar as opções da barra de ferramentas para formatar, limpar a consulta e abrir a documentação de referência do SQL do BigQuery.

  5. Opcional: crie um gráfico ou salve os resultados em um painel personalizado.

    Por padrão, os resultados da consulta são apresentados como uma tabela. No entanto, você pode criar um gráfico e salvar a tabela ou o gráfico em um painel personalizado.

    Para informações sobre como criar e configurar um gráfico e como salvar um resultado de consulta em um painel, consulte Resultados de consulta SQL do gráfico.

Mostrar o esquema de uma visualização de registro

O esquema de uma visualização de registro define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam como você cria suas consultas. Por exemplo, suponha que você queira calcular a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele é armazenado como um número inteiro, como 100, ou como uma string, como "100". Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor para um valor numérico antes de calcular uma média.

Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um campo com o nome json_payload. Quando um bucket de registros é atualizado para usar a análise de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON. O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url é uma referência válida.

Para identificar o esquema de uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registro, encontre a visualização de registro e selecione o nome dela.

    O esquema é exibido. Use o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.

A seguir