Consultar e analisar registros com a Análise de dados de registros

Este documento descreve como consultar e analisar os dados de registro armazenados em Buckets de registros que foram atualizados para usar a Análise de dados de registros. É possível consultar registros nesses buckets usando SQL, o que permite filtrar e agregar os registros. Para ver os resultados da consulta, use o formato tabular ou visualize os dados com gráficos. Essas tabelas e gráficos podem ser salvos nos seus painéis personalizados.

É possível usar a Análise de registros para visualizar as entradas de registro armazenadas em buckets de registros no projeto, mesmo que o bucket de registros não tenha sido para usar a Análise de dados de registros.

Há algumas restrições ao usar a Análise de dados de registros. Para mais informações, consulte Log Analytics: restrições.

Sobre os conjuntos de dados vinculados

A Análise de dados de registros permite a criação de conjuntos de dados vinculados do BigQuery, que permitem o BigQuery tem acesso de leitura aos dados subjacentes. Se você optar por criar um conjunto de dados vinculado, poderá fazer o seguinte:

  • Mesclar dados de entrada de registro com outros conjuntos de dados do BigQuery.
  • Consultar dados de registro de outro serviço, como a página do BigQuery Studio ou o Looker Studio.
  • melhorar o desempenho das consultas executadas na Análise de dados de registros. executando-as no seu Slots reservados do BigQuery.

Este documento não descreve como criar um conjunto de dados vinculado ou como configurar o Log Analytics para executar consultas em slots reservados. Se você tiver interesse nesses tópicos, consulte Consultar um conjunto de dados vinculado no BigQuery.

Antes de começar

Antes de usar a Análise de dados de registros, faça o seguinte:

  • Para receber as permissões necessárias para usar a Análise de dados de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

    Você pode restringir um principal a uma visualização de registro específica adicionando um A condição do IAM para a concessão do papel de Acessador de visualização de registros feita em para envolvidos no projeto ou adicionando uma vinculação do IAM ao do arquivo de política da visualização de registros. Para mais informações, consulte Controlar o acesso a uma visualização de registro.

    Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

  • Verifique se os buckets de registros foram atualizados para usar a Análise de dados de registros:

    1. No console do Google Cloud, acesse a página Armazenamento de registros:

      Acessar o armazenamento de registros

      Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

    2. Para cada bucket de registros que tem uma visualização de registro que você quer consultar, a garantir que A coluna Análise de dados de registros disponível exibe Abrir. Se a opção Upgrade for exibida, clique em Upgrade e conclua a caixa de diálogo.

Consultar uma visualização de registros

Ao solucionar um problema, contam as entradas de registro com um campo que corresponde a um padrão ou calcular a latência média para solicitação HTTP. É possível realizar essas ações executando uma consulta SQL em uma visualização de registros.

Para emitir uma consulta SQL para uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registro, encontre a visualização e selecione Consulta. O O painel Consulta é preenchido com uma consulta padrão, inclui o nome da tabela referente ao nome da visualização de registro que é consultado. Esse nome tem o formato project_ID.region.bucket_ID.view_ID.

    Você também pode inserir uma consulta no painel Consulta ou editar uma consulta exibida. Para conferir exemplos de consultas, consulte Exemplos de consultas.

    Para especificar um período, recomendamos que você use o seletor de intervalo de tempo. No entanto, é possível adicionar uma cláusula WHERE que especifique o campo timestamp. Quando uma consulta inclui um campo timestamp, esse carimbo de data/hora substitui o intervalo de tempo selecionado no seletor de intervalo de tempo e o seletor é desativado.

  3. Na barra de ferramentas, verifique se o botão Executar consulta é exibido.

    Se a barra de ferramentas mostrar Run in BigQuery, clique em Settings e selecione Log Analytics (default).

  4. Execute a consulta.

    A consulta é executada e o resultado dela é mostrado na guia Resultados.

    Você pode usar as opções da barra de ferramentas para formatar, limpar a consulta e abra a documentação de referência do SQL do BigQuery.

  5. Opcional: crie um gráfico ou salve os resultados em um painel personalizado.

    Por padrão, os resultados da consulta são apresentados como uma tabela. No entanto, você pode criar um gráfico e salvá-lo no por um painel personalizado.

    Para informações sobre como criar e configurar um gráfico e como salvar um resultado de consulta em um painel, consulte Resultados de consulta SQL do gráfico.

Mostrar o esquema de uma visualização de registro

O esquema de uma visualização de registro define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam como você cria suas consultas. Por exemplo, suponha que você queira calcular e a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele é armazenado como um número inteiro, como 100, ou como uma string, como "100". Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor para um valor numérico antes de calcular uma média.

Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um campo com o nome json_payload. Quando um bucket de registro é atualizado para usar a análise de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON. O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url é uma referência válida.

Para identificar o esquema de uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registros, encontre a visualização de registros e selecione a da visualização de registros.

    O esquema é exibido. Você pode usar o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.

A seguir