Consultar e visualizar registros na Análise de dados de registros

Este documento descreve como consultar e visualizar registros armazenados em buckets de registro atualizados para usar a Análise de Registros. É possível consultar registros nesses buckets SQL, que permite filtrar e agregar seus registros. Para informações sobre os recursos do Log Analytics do Cloud Logging, consulte Visão geral do Log Analytics.

Quando você faz upgrade de um bucket de registros para usar a análise de registros, não restringe seu acesso ao Explorador de registros. Você pode continuar a resolver problemas e conferir entradas de registro individuais nesses buckets usando o Explorador de registros.

Sobre a execução de consultas na página da Análise de dados de registros

Quando você quiser identificar padrões nos dados de registro ou criar gráficos com base neles dados, recomendamos que você use a página Análise de dados de registros. Essa interface exige que o bucket de registros tenha sido atualizado para usar a Análise de registros.

As consultas da Análise de dados de registros são executadas no serviço padrão, a menos que você configura essa página para usar slots reservados do BigQuery. Quando o serviço padrão é usado, suas consultas competem por um espaço de slot com um número limitado de slots padrão. Por isso, se os slots padrão no projeto do Google Cloud forem estiver ocupada com outras consultas, sua consulta poderá apresentar atrasos em no ambiente de execução. No entanto, é possível melhorar o desempenho das suas consultas executá-los em slots reservados do BigQuery.

Se você quiser realizar alguma das ações a seguir, criar um conjunto de dados vinculado do BigQuery, o que permite Conjuntos de dados de entrada de registro de leitura do mecanismo do BigQuery.

  • Consulte os dados de entrada de registro da página Análise de dados de registros usando o Slots reservados do BigQuery.
  • Consultar dados de entrada de registro de outro serviço, como a página BigQuery Studio ou o Looker Studio.
  • Mesclar dados de entrada de registro com outros conjuntos de dados do BigQuery.

Se você executar suas consultas em slots reservados do BigQuery, suas consultas estarão sujeitas preços de capacidade de computação. Se você consultar seus dados usando um serviço diferente da Análise de registros, suas consultas poderão estar sujeitas a outras cobranças com base nesse serviço. Consulte a página de preços do serviço que você estão usando.

Antes de começar

  1. Para receber as permissões necessárias para usar o Log Analytics, peça ao administrador para conceder a você os seguintes papéis do IAM nos seus buckets ou visualizações de registros:

    • Para consultar os buckets de registro _Required e _Default: Visualizador de registros (roles/logging.viewer).
    • Para consultar todas as visualizações de registro em um projeto: Acessador de exibição de registros (roles/logging.viewAccessor).
    • Para consultar registros em uma visualização de registros específica: Crie uma política do IAM para a visualização de registros ou restrinja o papel de acessador de visualizações de registros (roles/logging.viewAccessor) a uma determinada visualização. Para mais informações, consulte Controlar o acesso a uma visualização de registros.

  2. Para ter as permissões necessárias para criar e consultar conjuntos de dados vinculados, peça ao administrador para conceder a você estes papéis do IAM no projeto que armazena o bucket de registros:

    • (Opcional) Para criar e acessar conjuntos de dados vinculados:
    • (Opcional) Para executar consultas em conjuntos de dados vinculados usando slots reservados do BigQuery:
    • (Opcional) Para acessar os conjuntos de dados vinculados no BigQuery Studio, conceda todas as funções mencionadas nesta etapa e a seguinte: Leitor de dados do BigQuery (roles/bigquery.dataViewer).

  3. Para as visualizações de registro que você quer consultar, acesse a página Armazenamento de registros e verifique se os buckets de registro que armazenam essas visualizações foram atualizados para usar a Análise de dados de registros. Se necessário, faça upgrade do bucket de registros.

    Acessar o armazenamento de registros

  4. Opcional: se você quiser consultar seus dados de registro usando um conjunto de dados do BigQuery, por exemplo, se você pretende usar a página BigQuery Studio, crie um conjunto de dados vinculado do BigQuery.

  5. Este recurso está em pré-lançamento público:

    Opcional: se você quiser consultar seus dados de registro na página Análise de registros usando slots reservados do BigQuery, faça o seguinte:
    1. Crie um conjunto de dados vinculado do BigQuery.
    2. Crie uma reserva com slots dedicados e crie atribuições de reserva.

Consultar uma visualização de registro

Ao resolver um problema, você pode contar as entradas de registro com um campo que corresponde a um padrão ou calcular a latência média da solicitação HTTP. Para realizar essas ações, execute uma consulta SQL em uma visualização de registro.

Para emitir uma consulta SQL para uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registro, encontre a visualização e selecione Consulta. O O painel Consulta é preenchido com uma consulta padrão, inclui o nome da tabela referente ao nome da visualização de registro que é consultado. Esse nome tem o formato project_ID.region.bucket_ID.view_ID.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

    Para definir o período da consulta, use o seletor de período ou adicione uma cláusula WHERE que especifique o campo timestamp. Recomendamos que você use o seletor de intervalo de tempo para especificar o intervalo de tempo.

    Se você especificar um carimbo de data e hora em sua consulta, ele substituirá o período selecionado no seletor de intervalo de tempo e no seletor de intervalo de tempo está desativado. Para usar o seletor de intervalo de tempo, remova as expressões de carimbo de data/hora da cláusula WHERE na consulta.

  3. Selecione seu mecanismo de consulta.

    • Para executar a consulta no serviço padrão da Análise de dados de registros, verifique se que o botão Executar consulta é exibido na barra de ferramentas. Se esse botão não for exibido, faça o seguinte:

      1. Na barra de ferramentas, clique em Configurações.

      2. Clique em Análise de registros (padrão).

      O botão Run query aparece na barra de ferramentas.

    • Para executar a consulta nos slots reservados do BigQuery no seu projeto do Google Cloud, faça o seguinte:

      1. Na barra de ferramentas, clique em Configurações.

      2. Clique em BigQuery.

      O botão Executar consulta muda para Executar no BigQuery.

      Se o botão Run on BigQuery aparecer, mas estiver desativado, uma visualização de registro referenciada pela consulta não terá um conjunto de dados vinculado. Para executar a consulta nas reservas de slots do BigQuery, crie um conjunto de dados vinculado na visualização de registros.

  4. Execute a consulta.

    A consulta é executada e o resultado dela é mostrado na guia Resultados.

    Você pode usar as opções da barra de ferramentas para formatar, limpar a consulta e abra a documentação de referência do SQL do BigQuery.

Exibir o esquema de uma visualização

O esquema de uma visualização de registro define a estrutura e o tipo de dados para cada campo. Essas informações são importantes para você porque determinam como você cria suas consultas. Por exemplo, suponha que você queira calcular o e a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele é armazenado como um número inteiro, como 100, ou como uma string, como "100". Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor para um valor numérico antes de calcular uma média.

Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um campo com o nome json_payload. Quando um bucket de registro é atualizado para usar a análise de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON. O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url é uma referência válida.

Para identificar o esquema de uma visualização de registro, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registros, encontre a visualização de registros e selecione a da visualização de registros.

    O esquema é exibido. Você pode usar o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.

Salvar uma consulta

Todas as consultas que você executa são salvas automaticamente para 30 dias e podem ser acessadas ao selecionar a guia Recentes na página Análise de dados de registros. Você pode pesquisar, exibir, executar e compartilhar o consultas listadas na guia Recentes.

Se você quiser manter uma consulta disponível para uso futuro, anote-a com informações úteis ou deixe que os colegas de equipe a acessem e executem, e salve a consulta. Você pode pesquisar e classificar suas consultas salvas pelo nome, descrição e rótulo de visibilidade. Você também pode editar e excluir essas consultas. As consultas salvas são mantidas até que você as exclua.

Você pode salvar 10.000 consultas por projeto do Google Cloud.

Console

Para salvar uma consulta, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Preencha o painel Consulta com uma consulta.

    Para preencher o painel Consulta, insira uma nova consulta, selecione uma consulta na guia Recente ou selecione uma consulta na guia Salvo.

    Quando a consulta no painel Consulta for válida, o botão Salvar será ativado.

  3. Clique em Salvar e preencha o Nome e a Descrição. campos. Os valores definidos para esses campos são mostrados na guia Salvos.

  4. Opcional: para permitir que todos com acesso à página Log Analytics para a visualização do projeto do Google Cloud executem sua consulta salva, ative a opção Compartilhar com o projeto.

    Essa opção fica desativada por padrão, e a visibilidade é restrita a você.

  5. Clique em Salvar consulta.

  6. Opcional: para visualizar, classificar e executar consultas salvas visíveis para você, Selecione a guia Salvos.

    Você pode classificar e filtrar suas consultas salvas por nome, descrição e marcador de visibilidade. Também é possível filtrar pelo conteúdo da consulta.

Você pode editar e excluir consultas criadas usando as opções na guia Salvas:

  • Para editar uma consulta, Clique em Mais opções e selecione Editar. Você pode modificar os valores do atributo nos campos Nome e Descrição; No entanto, a consulta em si não pode ser modificado.

  • Para excluir uma consulta salva, clique em Mais opções e selecione Excluir.

API

Para salvar uma consulta usando a API Logging, use o savedQueries.create. Para mais informações sobre esse método, os parâmetros e os dados de resposta, consulte a página de referência de savedQueries.create.

É possível executar o método savedQueries.create usando o widget APIs Explorer na página de referência do método. Para consultas do Log Analytics, especifique o campo opsAnalyticsQuery. O exemplo a seguir ilustra um corpo de solicitação de exemplo, que contém uma instância de SavedQuery:

{
  "parent": "projects/my-project/locations/global"
  "saved_query":
  {
     "ops_analytics_query":
     {
        "sql_query_text" :
           "SELECT
           timestamp, log_name, severity, json_payload, resource, labels
           FROM
           `TABLE_NAME_OF_LOG_VIEW`
           WHERE
           timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
           ORDER BY timestamp ASC
           LIMIT 100"
     }
     "visibility": "PRIVATE"
  }
}

Compartilhar uma consulta

Console

Ao solucionar um problema ou observar resultados anômalos, é possível desejam compartilhar uma consulta e seus resultados com um colega de equipe. Ao visualizar os resultados da consulta na página Análise de dados de registros, é possível copiar um URL que, quando aberto, mostra a consulta executada e os resultados dela.

Para compartilhar uma consulta e os resultados com um colega de equipe, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Preencha o painel Consulta com uma consulta e clique em Executar consulta.

    Para preencher o painel Consulta, insira uma nova consulta. selecionando uma consulta na guia Recente ou selecionando uma consulta na guia Salvos.

  3. Clique em Compartilhar link.

  4. Envie o link para seu colega de equipe.

    Quando o colega abrir o link, a página Análise de dados de registro será aberta. Essa página exibe a consulta que você executou e os resultados da consulta.

    Para abrir o URL, a função de gerenciamento de identidade e acesso do colega de equipe no projeto do Google Cloud precisa incluir as permissões necessárias para visualizar as páginas de geração de registros.

API

É possível usar a API Logging para criar uma consulta compartilhada usando o método savedQueries.Create e especificando um valor de SHARED no no campo visibility.

Salvar resultados da consulta em um painel

Depois de executar uma consulta, você pode selecionar como visualizar os resultados e se quer salvar a consulta e os resultados em um painel personalizado. Os painéis personalizados permitem que você exibir e organizar informações úteis para você usando uma variedade de tipos de widgets específicos.

Por padrão, os resultados da consulta são apresentados como uma tabela. Ou seja, no Guia Resultados, a opção Tabela está selecionada. Com essas configurações, se você acessar a barra de ferramentas e selecionar Salvar no painel, uma caixa de diálogo será aberta e você vai precisar inserir um nome descritivo para a tabela e um nome de painel. Ao concluir estas etapas, o painel nomeado é editado e um widget de tabela é adicionado. O widget de tabela mostra o resultado da consulta.

Se você quiser conferir as tendências dos seus dados, selecione Gráfico ou Ambos na guia Resultados. Essas opções permitem mostrar o resultado de uma consulta em um gráfico ou com um indicador, como um medidor ou uma visão geral. Depois de criar um gráfico, você pode salvá-lo em um painel personalizado e selecione Salvar no painel. Para informações sobre como configurar gráficos, consulte Gráfico com os resultados da consulta com a Análise de dados de registros.

É possível mudar a configuração de uma tabela ou um gráfico em um painel personalizado. Para fazer mudanças, abra o painel e edite o widget. Por exemplo, é possível editar a consulta ou mudar a forma como os dados são mostrados. Para mais informações, consulte Modificar a configuração de um widget.

Consultar e executar consultas recentes ou salvas

Para conferir ou executar novamente uma consulta, selecione a guia Recente na página Análise de dados de registro e encontre a consulta:

  • Para executar a consulta, clique em Executar.
  • Para conferir a consulta, use as opções no menu Mais opções .

Para visualizar, editar ou executar uma consulta salva, selecione a guia Salvas na página Análise de dados de registros e encontre a consulta:

  • Para executar a consulta, clique em Executar.
  • Para editar, visualizar ou excluir a consulta, use as opções no Menu Mais opções.

Executar consultas do BigQuery

Quando você tem um bucket de registros que usa a Análise de dados de registros e conjuntos de dados vinculados, é possível visualizar e consultar seus conjuntos de dados vinculados usando o BigQuery Studio. página. Com essa configuração, é possível analisar conjuntos de dados usando comandos, fluxos de trabalho e conjuntos de dados disponível somente no BigQuery Studio.

Para consultar um conjunto de dados vinculado usando a página BigQuery Studio, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acesse Análise de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

  2. Na lista Visualizações de registro, encontre a visualização de registro e selecione Consulta. O O painel Consulta é preenchido com uma consulta padrão.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

  3. Na barra de ferramentas, clique em Abrir no BigQuery.

    A página do BigQuery Studio é aberta. A instrução FROM da consulta é modificada para especificar o caminho para a visualização de registro no conjunto de dados vinculado usando a sintaxe de caminho de tabela do BigQuery.

    Também é possível editar a consulta exibida.

  4. Clique em Executar consulta.

A seguir