Criar consultas usando SQL

Neste documento, descrevemos como consultar e visualizar registros armazenados em buckets de registros atualizados para usar a análise de registros. É possível consultar registros nesses buckets usando SQL, o que permite filtrar e agregar os registros. Para mais informações sobre os recursos da análise de registros do Cloud Logging, consulte Visão geral da análise de registros.

Ao fazer upgrade de um bucket de registros para usar a análise de registros, você não restringe seu acesso ao Explorador de registros. É possível continuar a solucionar problemas e visualizar entradas de registro individuais nesses buckets usando o Explorador de registros.

Para informações sobre como fazer upgrade de um bucket de registros para usar a análise de registros, consulte os documentos a seguir:

Antes de começar

  • Verifique se você tem um bucket de registros atualizado para usar a Análise de registros. A página Armazenamento de registros lista os buckets de registro e as informações de configuração deles.

    No console do Google Cloud, selecione Logging e, em seguida, Armazenamento de registros ou clique no botão a seguir:

    Acessar o armazenamento de registros

  • Para receber as permissões necessárias para carregar a página Análise de registros, executar consultas e visualizar registros, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

    Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

    As permissões necessárias para visualizar as entradas de registro e executar consultas na página Análise de registros são as mesmas para visualizar os registros na página Explorador de registros. Para mais informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

  • Para receber as permissões necessárias para visualizar os conjuntos de dados vinculados do BigQuery para buckets de registros, peça ao administrador para conceder a você o papel do IAM Acessador de link de registro (roles/logging.linkViewer) no seu projeto.

  • Para receber as permissões necessárias para visualizar seus dados no BigQuery, peça ao administrador a concessão dos seguintes papéis do IAM no seu projeto:

Consultar uma visualização de registro

Ao solucionar um problema, é possível contar as entradas de registro com um campo que corresponda a um padrão ou calcular a latência média para solicitação HTTP. Execute essas ações executando uma consulta SQL em uma visualização de registro.

Para emitir uma consulta SQL para uma visualização, faça o seguinte:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros ou clique no botão a seguir:

    Acessar a página "Análise de registros"

  2. Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela que é consultada.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

    Para definir o período da consulta, use o seletor de intervalo de tempo ou adicione uma cláusula WHERE que especifique o campo timestamp. Recomendamos que você use o seletor de intervalo de tempo para especificar o período.

    Se você especificar um carimbo de data/hora na consulta, ele vai substituir o intervalo selecionado no seletor de intervalo de tempo, e o seletor será desativado. Para usar o seletor de intervalo de tempo, remova as expressões de carimbo de data/hora da cláusula WHERE na sua consulta.

  3. Na barra de ferramentas, clique em Executar consulta.

    A consulta é executada e seu resultado é mostrado na guia Resultados.

    Use as opções da barra de ferramentas para formatar a consulta, limpá-la e abrir a documentação de referência do SQL do BigQuery.

Exibir o esquema de uma visualização

O esquema de uma visualização de registro define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam como você constrói as consultas. Por exemplo, suponha que você queira calcular a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele está armazenado como um número inteiro, como 100, ou como uma string como "100". Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor em um valor numérico antes de calcular uma média.

Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um campo com o nome json_payload. Quando um bucket de registros é atualizado para usar a análise de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON. O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url é uma referência válida.

Para identificar o esquema de uma visualização, faça o seguinte:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros ou clique no botão a seguir:

    Acessar a página "Análise de registros"

  2. Na lista Visualizações de registros, encontre a visualização e selecione o nome dela.

    O esquema da tabela é exibido. Use o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.

Salvar uma consulta

Todas as consultas executadas são salvas automaticamente por 30 dias e podem ser acessadas selecionando a guia Recente na página Análise de registros. É possível pesquisar, visualizar, executar e compartilhar as consultas listadas na guia Recentes.

Se quiser manter uma consulta disponível para uso futuro, anote-a com informações úteis para você ou permita que seus colegas de equipe vejam e executem sua consulta. Em seguida, salve-a. É possível pesquisar e classificar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível editar e excluir essas consultas. As consultas salvas são mantidas até que você as exclua.

É possível salvar 10.000 consultas por projeto do Google Cloud.

Para salvar uma consulta, faça o seguinte:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros ou clique no botão a seguir:

    Acessar a página "Análise de registros"

  2. Preencha o painel Consulta com uma consulta.

    Para preencher o painel Consulta, insira uma nova consulta, selecione uma consulta na guia Recente ou selecione uma consulta na guia Salva.

    Quando uma consulta no painel Consulta é válida, o botão Salvar é ativado.

  3. Clique em Salvar e preencha os campos Nome e Descrição. Os valores definidos para esses campos são mostrados na guia Salvos.

  4. Opcional: para permitir que todos com acesso à página Análise de registros do projeto do Google Cloud vejam e executem a consulta salva, ative a opção Compartilhar com projeto.

    Por padrão, esse botão fica desativado, e a visibilidade fica restrita a você.

  5. Clique em Salvar consulta.

  6. Opcional: para visualizar, classificar e executar consultas salvas visíveis para você, selecione a guia Saved.

    É possível classificar e filtrar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível filtrar pelo conteúdo da consulta.

É possível editar e excluir as consultas criadas usando as opções na guia Salvos:

  • Para editar uma consulta, clique em Mais opções e selecione Editar. É possível modificar os valores dos campos Nome e Descrição. No entanto, a consulta em si não pode ser modificada.

  • Para excluir uma consulta salva, clique em Mais opções e selecione Excluir.

Compartilhar uma consulta

Ao solucionar um problema ou ao ver resultados anômalos, é possível compartilhar uma consulta e os resultados com um colega de equipe. Ao visualizar os resultados da consulta na página Análise de registros, é possível copiar um URL que, quando aberto, exibe a consulta executada e os resultados.

Para compartilhar uma consulta e os resultados com um colega de equipe, faça o seguinte:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros ou clique no botão a seguir:

    Acessar a página "Análise de registros"

  2. Preencha o painel Consulta com uma consulta e clique em Executar consulta.

    Para preencher o painel Consulta, insira uma nova consulta, selecione uma consulta na guia Recente ou selecione uma consulta na guia Salva.

  3. Clique em Compartilhar link.

  4. Envie o link para seu colega de equipe.

    Quando seu colega de equipe abrir o link, a página Análise de registros será aberta. Essa página exibe a consulta que você executou e os resultados da consulta.

    Para abrir o URL, o papel do Identity and Access Management do colega de equipe no projeto do Google Cloud precisa incluir as permissões necessárias para visualizar as páginas do Logging.

Visualizar e executar consultas recentes ou salvas

Para visualizar ou executar novamente uma consulta, selecione a guia Recente na página Análise de registros e encontre a consulta:

  • Para executar a consulta, clique em Executar.
  • Para abrir a consulta, use as opções no menu Mais opções.

Para visualizar, editar ou executar uma consulta salva, selecione a guia Salvo na página Análise de registros e encontre-a:

  • Para executar a consulta, clique em Executar.
  • Para editar, visualizar ou excluir a consulta, use as opções no menu Mais opções.

Consultar registros usando o BigQuery

Quando você tem um bucket de registros que foi atualizado para usar a análise de registros, também pode ver seus dados no BigQuery criando um conjunto de dados vinculado do BigQuery. Com essa configuração, é possível usar o BigQuery para mesclar os dados de registro, que podem ser acessados por meio do conjunto de dados vinculado, com outros dados da empresa. Para mais informações sobre como criar um conjunto de dados vinculado, consulte Conceder acesso de visualização do BigQuery a um bucket de registros.

Para consultar um conjunto de dados vinculado, faça o seguinte:

  1. No console do Google Cloud, selecione Logging e, em seguida, Análise de registros ou clique no botão a seguir:

    Acessar a página "Análise de registros"

  2. Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão.

    Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.

  3. Na barra de ferramentas, clique em Executar no BigQuery.

    A página do BigQuery Studio é aberta. A instrução FROM da consulta é modificada para especificar o caminho para a visualização no conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery.

    Também é possível editar a consulta exibida.

  4. Clique em Executar consulta.

A seguir