Consulte e visualize registros na Análise de dados de registros

Neste documento, descrevemos como consultar e visualizar registros armazenados em buckets de registros atualizados para usar a Análise de dados de registros. É possível consultar registros nesses buckets usando SQL, que permite filtrar e agregar os registros. Para saber mais sobre os recursos da Análise de dados de registros do Cloud Logging, consulte Visão geral da análise de registros.

Ao fazer upgrade de um bucket de registros para usar a Análise de dados de registros, você não restringe seu acesso à Análise de registros. É possível continuar a solucionar problemas e visualizar entradas de registro individuais nesses buckets usando a Análise de registros.

Para informações sobre como fazer upgrade de um bucket de registros para usar a Análise de dados de registros, consulte os seguintes documentos:

Antes de começar

  • Verifique se você tem um bucket de registros com upgrade para usar a Análise de dados de registros. A página Armazenamento de registros lista os buckets de registros e as informações de configuração deles.

    No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Armazenamento de registros:

    Acessar o armazenamento de registros

  • Para receber as permissões necessárias para carregar a página Análise de registros, executar consultas e visualizar registros, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

    Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

    As permissões necessárias para visualizar entradas de registro e executar consultas na página Análise de registros são as mesmas necessárias para visualizar registros na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

  • Para receber as permissões necessárias para visualizar os conjuntos de dados vinculados do BigQuery para buckets de registros, peça ao administrador para conceder a você o papel do IAM Acessador de link de registro (roles/logging.linkViewer) no seu projeto.

  • Para receber as permissões necessárias para visualizar seus dados no BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:

Consultar uma visualização de registro

Ao solucionar um problema, é possível contar as entradas de registro com um campo que corresponda a um padrão ou calcular a latência média para solicitação HTTP. Você pode realizar essas ações executando uma consulta SQL em uma visualização de registro.

Para emitir uma consulta SQL para uma visualização, faça o seguinte:

  1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

    Acesse a Análise de dados de registros

  2. Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela consultada.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

    Para definir o período da consulta, use o seletor de intervalo de tempo ou adicione uma cláusula WHERE que especifique o campo timestamp. Recomendamos que você use o seletor de período para especificar o período.

    Se você especificar um carimbo de data/hora na consulta, ele modificará o intervalo de tempo selecionado no seletor de intervalo de tempo e o seletor será desativado. Para usar o seletor de intervalo de tempo, remova as expressões de carimbo de data/hora da cláusula WHERE na sua consulta.

  3. Na barra de ferramentas, clique em Executar consulta.

    A consulta é executada e o resultado é mostrado na guia Resultados.

    Use as opções da barra de ferramentas para formatar, limpar a consulta e abrir a documentação de referência do BigQuery SQL.

Exibir o esquema de uma visualização

O esquema de uma visualização de registro define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam como você cria as consultas. Por exemplo, suponha que você queira calcular a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele está armazenado como um número inteiro, como 100, ou como uma string como "100". Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor em um numérico antes de calcular uma média.

Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um campo com o nome de json_payload. Quando um bucket de registros é atualizado para usar a Análise de dados de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON. O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url é uma referência válida.

Para identificar o esquema de uma visualização, faça o seguinte:

  1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

    Acesse a Análise de dados de registros

  2. Na lista Visualizações de registros, encontre a visualização e selecione o nome dela.

    O esquema da tabela é exibido. Use o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.

Salvar uma consulta

Todas as consultas executadas são salvas automaticamente por 30 dias e podem ser acessadas selecionando a guia Recente na página Análise de registros. É possível pesquisar, visualizar, executar e compartilhar as consultas listadas na guia Recentes.

Se quiser manter uma consulta disponível para uso futuro, anote-a com informações úteis ou permita que seus colegas de equipe visualizem e executem sua consulta e, em seguida, salve-a. É possível pesquisar e classificar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível editar e excluir essas consultas. As consultas salvas são mantidas até que você as exclua.

É possível economizar 10.000 consultas por projeto do Google Cloud.

Console

Para salvar uma consulta, faça o seguinte:

  1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

    Acesse a Análise de dados de registros

  2. Preencha o painel Consulta com uma consulta.

    Para preencher o painel Consulta, digite uma nova consulta, selecione uma consulta na guia Recentes ou selecione uma consulta na guia Salvo.

    Quando a consulta no painel Consulta é válida, o botão Salvar é ativado.

  3. Clique em Salvar e preencha os campos Nome e Descrição. Os valores definidos para esses campos são mostrados na guia Salvos.

  4. Opcional: para permitir que todos com acesso à página da Análise de dados de registros do projeto do Google Cloud visualizem a consulta salva, ative a opção Compartilhar com o projeto.

    Por padrão, esse botão fica desativado, e a visibilidade fica restrita a você.

  5. Clique em Salvar consulta.

  6. Opcional: para visualizar, classificar e executar consultas salvas visíveis para você, selecione a guia Salvas.

    É possível classificar e filtrar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível filtrar pelo conteúdo da consulta.

É possível editar e excluir as consultas criadas usando as opções na guia Salvos:

  • Para editar uma consulta, clique em Mais opções e selecione Editar. É possível modificar os valores dos campos Nome e Descrição. No entanto, a consulta em si não pode ser modificada.

  • Para excluir uma consulta salva, clique em Mais opções e selecione Excluir.

API

Para salvar uma consulta usando a API Logging, use o método savedQueries.create. Para saber mais sobre esse método, os parâmetros e os dados de resposta, consulte a página de referência de savedQueries.create.

É possível executar o método savedQueries.create usando o widget do APIs Explorer na página de referência do método. Para consultas da Análise de dados de registros, você precisa especificar o campo opsAnalyticsQuery. O exemplo a seguir ilustra um corpo de solicitação de amostra, que contém uma instância de SavedQuery:

{
  "parent": "projects/my-project/locations/global"
  "saved_query":
  {
     "ops_analytics_query":
     {
        "sql_query_text" :
           "SELECT
           timestamp, log_name, severity, json_payload, resource, labels
           FROM
           `TABLE`
           WHERE
           timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
           ORDER BY timestamp ASC
           LIMIT 100"
     }
     "visibility": "PRIVATE"
  }
}

Compartilhar uma consulta

Console

Ao solucionar um problema ou caso você veja resultados anômalos, compartilhe uma consulta e os resultados com um colega de equipe. Ao visualizar os resultados da consulta na página Análise de dados de registros, é possível copiar um URL que, quando aberto, exibe a consulta executada e os resultados dela.

Para compartilhar uma consulta e os resultados com um colega de equipe, faça o seguinte:

  1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

    Acesse a Análise de dados de registros

  2. Preencha o painel Consulta com uma consulta e clique em Executar consulta.

    Para preencher o painel Consulta, digite uma nova consulta, selecione uma consulta na guia Recentes ou selecione uma consulta na guia Salvo.

  3. Clique em Compartilhar link.

  4. Envie o link para seu colega de equipe.

    Quando seu colega de equipe abrir o link, a página Análise de dados de registros será aberta. Essa página exibe a consulta que você executou e os resultados da consulta.

    Para abrir o URL com sucesso, o papel do Identity and Access Management do seu colega de equipe no projeto do Google Cloud precisa incluir as permissões necessárias para visualizar as páginas do Logging.

API

É possível usar a API Logging para criar uma consulta compartilhada usando o método savedQueries.Create e especificando um valor de SHARED no campo visibility.

Consultar e executar consultas recentes ou salvas

Para visualizar ou executar novamente uma consulta, selecione a guia Recente na página Análise de registros e encontre a consulta:

  • Para executar a consulta, clique em Executar.
  • Para ver a consulta, use as opções no menu Mais opções.

Para visualizar, editar ou executar uma consulta salva, selecione a guia Salvas na página Análise de dados de registros e encontre a consulta:

  • Para executar a consulta, clique em Executar.
  • Para editar, visualizar ou excluir a consulta, use as opções no menu Mais opções.

Consultar registros com o BigQuery

Quando você tem um bucket de registros atualizado para usar a Análise de dados de registros, também é possível visualizar os dados no BigQuery criando um conjunto de dados vinculado do BigQuery. Com essa configuração, é possível usar o BigQuery para mesclar os dados de registro, que podem ser acessados por meio do conjunto de dados vinculado, com outros dados da empresa. Para mais informações sobre como criar um conjunto de dados vinculado, consulte Conceder ao BigQuery acesso de leitura a um bucket de registros.

Para consultar um conjunto de dados vinculado, faça o seguinte:

  1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

    Acesse a Análise de dados de registros

  2. Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

  3. Na barra de ferramentas, clique em Executar no BigQuery.

    A página do BigQuery Studio é aberta. A instrução FROM da consulta é modificada para especificar o caminho para a visualização no conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery.

    Também é possível editar a consulta exibida.

  4. Clique em Executar consulta.

A seguir