Consultar e analisar registros com a Análise de dados de registros

Neste documento, descrevemos como consultar e analisar dados de registros usando a Análise de dados de registros, que oferece uma interface de consulta baseada em SQL. Usando SQL, é possível realizar tarefas como contar as entradas de registro com um campo que corresponda a um padrão. A Análise de dados de registros oferece um editor de SQL e um sistema baseado em menus para criar consultas. Para ver os resultados da consulta, use o formato tabular ou visualize os dados como um gráfico. É possível salvar os gráficos nos seus painéis personalizados.

É possível consultar uma visualização de registros em um bucket de registros ou uma visualização de análise. Quando você consulta uma visualização de registros, o esquema corresponde ao da estrutura de dados LogEntry. Como o criador de uma vista do Google Analytics determina o esquema, um caso de uso para as vistas do Google Analytics é transformar dados de registro do formato LogEntry em um formato mais adequado para você.

A Análise de dados de registros não remove entradas duplicadas, o que pode afetar a forma como você escreve as consultas. Além disso, há algumas restrições ao usar a Análise de dados de registros. Para mais informações sobre esses temas, consulte os documentos a seguir:

• Solução de problemas: há entradas de registro duplicadas nos resultados da Análise de dados de registros.
• Análise de registros: restrições.

Sobre conjuntos de dados vinculados

A Análise de dados de registros permite a criação de conjuntos de dados vinculados do BigQuery, que dão ao BigQuery acesso de leitura aos dados subjacentes. Se você optar por criar um conjunto de dados vinculado, poderá fazer o seguinte:

• Mesclar dados entrada de registro com outros conjuntos de dados do BigQuery.
• Consulte dados de registros de outro serviço, como a página do BigQuery Studio ou o Looker Studio.
• Melhore o desempenho das consultas executadas na Análise de registros executando-as nos slots reservados do BigQuery.
• Crie uma política de alertas que monitore o resultado de uma consulta SQL. Para mais informações, consulte Monitorar os resultados da consulta SQL com uma política de alertas.

Este documento não descreve como criar um conjunto de dados vinculado nem como configurar o Log Analytics para executar consultas em slots reservados. Se você tiver interesse nesses tópicos, consulte Consultar um conjunto de dados vinculado no BigQuery.

Antes de começar

Observação: o Explorador de registros pode consultar dados armazenados em buckets de registros. No entanto, para consultar esses dados usando a Análise de dados de registros, é necessário fazer upgrade do bucket de registros.

Nesta seção, descrevemos as etapas que você precisa concluir antes de usar a análise de registros.

configurar buckets de registros

Confirme se os buckets de registros foram atualizados para usar a Análise de registros:

1. No console Google Cloud , acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Para cada bucket de registros com uma visualização que você quer consultar, verifique se a coluna Análise de Dados de Registros disponível mostra Abrir. Se a opção Fazer upgrade aparecer, clique nela e conclua a caixa de diálogo.

Configurar permissões e papéis do IAM

Nesta seção, descrevemos os papéis ou as permissões do IAM necessários para usar a análise de registros:

• Para receber as permissões necessárias para usar a Análise de registros e consultar visualizações de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

  • Para consultar os buckets de registros _Required e _Default: Visualizador de registros (roles/logging.viewer)
  • Para consultar todas as visualizações de registros em um projeto: Acessador de visualização de registros (roles/logging.viewAccessor)

  É possível restringir um principal a uma visualização de registros específica adicionando uma condição do IAM à concessão de papel de leitor de acesso à visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registros. Para mais informações, consulte Controlar o acesso a uma visualização de registro.

  Essas são as mesmas permissões necessárias para visualizar entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

• Para receber as permissões necessárias para consultar visualizações de análise, peça ao administrador para conceder a você o papel Usuário da análise de observabilidade (roles/observability.analyticsUser) do IAM no seu projeto.

Consultar dados de registro

Nesta seção, descrevemos as abordagens que podem ser usadas para consultar seus dados de registros:

• Carregue uma consulta definida pelo sistema, edite e execute.
• Insira e execute uma consulta personalizada. Por exemplo, você pode colar ou escrever uma consulta. As consultas personalizadas podem incluir junções, consultas aninhadas e outras instruções SQL complexas. Para exemplos, consulte Amostras de consultas SQL.
• Crie uma consulta fazendo seleções no menu e execute-a. A Análise de dados de registros converte suas seleções em uma consulta SQL, que pode ser visualizada e editada.

Carregar, editar e executar a consulta definida pelo sistema

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No menu Visualizações, acesse a seção segment Logs ou data_table Visualizações do Analytics e selecione a visualização que você quer consultar.

   Para encontrar a visualização a ser consultada, use a barra Filtrar ou role a lista para baixo:

   • As visualizações de registros são listadas por BUCKET_ID.LOG_VIEW_ID, em que esses campos se referem aos IDs do bucket de registros e da visualização de registros.

   • As vistas do Google Analytics são listadas por LOCATION.ANALYTICS_VIEW_ID, em que esses campos se referem ao local e ao ID de uma vista do Google Analytics. As visualizações do Google Analytics estão no Acesso antecipado.

3. Escolha uma destas opções:

   • Para carregar uma consulta definida pelo sistema que depende do Criador de consultas, que permite definir a consulta com seleções de menu, verifique se o painel Consulta mostra Criador de consultas. Se um editor de SQL for mostrado, clique em  Criador.

   • Para carregar uma consulta definida pelo sistema que extrai valores JSON, verifique se o painel Consulta mostra o editor de SQL. Se esse painel mostrar Criador de consultas, clique em  SQL.

4. No painel Esquema, selecione Consulta e clique em Substituir.

   O painel Consulta mostra uma consulta definida pelo sistema. Se você selecionou o modo Criador de consultas, mas quer ver a consulta SQL, clique em  SQL.

5. Opcional: modifique a consulta.

6. Para executar a consulta, acesse a barra de ferramentas e selecione Executar consulta.

   O Log Analytics apresenta os resultados da consulta em uma tabela. No entanto, é possível criar um gráfico e salvar a tabela ou o gráfico em um painel personalizado. Para mais informações, consulte Criar consulta SQL SQL.

   Se a barra de ferramentas mostrar Executar no BigQuery, mude o Log Analytics para usar o mecanismo de consulta padrão. Para fazer essa mudança, na barra de ferramentas do painel Consulta, clique em Configurações e selecione Analytics (padrão).

Inserir e executar uma consulta personalizada

Para inserir uma consulta SQL, faça o seguinte:

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No painel Consulta, clique em  SQL.

   • Para especificar um período, recomendamos que você use o seletor de período. Se você adicionar uma cláusula WHERE que especifica o campo timestamp, esse valor vai substituir a configuração no seletor de período, que será desativado.

   • Para exemplos, consulte Amostras de consultas SQL.

   • É possível consultar visualizações de registros ou visualizações de análise. Use o seguinte formato para a cláusula FROM:

     • Visualizações de registros:

       FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
       

     • Vistas do Google Analytics:

       FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`
       

     Os campos nas expressões anteriores têm o seguinte significado:

     • PROJECT_ID: o identificador do projeto.
     • LOCATION: o local da visualização de registros ou da visualização de análise.
     • BUCKET_ID: o nome ou ID do bucket de registros.
     • LOG_VIEW_ID: o identificador da visualização de registros, que é limitado a 100 caracteres e pode incluir apenas letras, dígitos, sublinhados e hifens.
     • ANALYTICS_VIEW_ID: o ID da visualização do Google Analytics, que é limitado a 100 caracteres e pode incluir apenas letras, dígitos, sublinhados e hifens.

   Se o painel de consulta mostrar uma mensagem de erro que faz referência à instrução FROM, a visualização não poderá ser encontrada. Para informações sobre como resolver essa falha, consulte A cláusula FROM precisa conter exatamente uma visualização de registro.

3. Para executar a consulta, acesse a barra de ferramentas e selecione Executar consulta.

   O Log Analytics apresenta os resultados da consulta em uma tabela. No entanto, é possível criar um gráfico e salvar a tabela ou o gráfico em um painel personalizado. Para mais informações, consulte Criar consulta SQL SQL.

   Se a barra de ferramentas mostrar Executar no BigQuery, mude o Log Analytics para usar o mecanismo de consulta padrão. Para fazer essa mudança, na barra de ferramentas do painel Consulta, clique em Configurações e selecione Analytics (padrão).

Criar, editar e executar uma consulta

Prévia

Este produto ou recurso está sujeito aos "Termos das Soluções Pré-GA" na seção Termos Gerais de Serviço dos Termos Específicos de Serviço. Os produtos e recursos pré-GA estão disponíveis no estado em que se encontram e podem ter suporte limitado. Para mais informações, consulte as descrições das fases de lançamento.

A interface do Criador de consultas permite criar uma consulta fazendo seleções nos menus. A Análise de dados de registros converte suas seleções em uma consulta SQL, que pode ser visualizada e editada. Por exemplo, você pode começar usando a interface do Criador de consultas e depois mudar para o editor de SQL para refinar sua consulta.

A Análise de dados de registros sempre pode converter suas seleções de menu da interface do Criador de consultas em uma consulta SQL. No entanto, nem todas as consultas SQL podem ser representadas pela interface do Criador de consultas. Por exemplo, consultas com junções não podem ser representadas por essa interface.

Observação: pode haver casos em que os campos que você quer consultar não são listados pela interface do criador de consultas. Quando o tipo de dados de uma coluna é JSON, o Log Analytics infere automaticamente os campos dela. Se quiser que sua consulta use um campo JSON que não foi inferido automaticamente, mude para o editor de SQL e escreva uma consulta.

Para criar uma consulta, faça o seguinte:

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Se o painel Consulta mostrar um editor de SQL, selecione Criador, que abre o painel Criador de consultas.

3. Use os menus Origem e Campos para selecionar a visualização e as colunas que aparecem na tabela de resultados. Suas seleções são mapeadas para as cláusulas FROM e SELECT na consulta SQL.

4. Opcional: use os seguintes menus para restringir ou formatar a tabela de resultados:

   • Pesquisar todos os campos: pesquise strings correspondentes. Suas seleções são mapeadas para a cláusula WHERE na consulta SQL.

   • Filtros: adicione filtros quando quiser restringir a consulta a períodos que contêm um atributo ou ID de período específico. O menu lista todas as opções de filtro disponíveis. Suas seleções são mapeadas para a cláusula WHERE na consulta SQL.

   • Ordenar por: defina as colunas a serem usadas para ordenar e se a classificação será crescente ou decrescente. Suas seleções são mapeadas para a cláusula ORDER BY na consulta SQL.

   • Limite: defina o número máximo de linhas na tabela de resultados. Suas seleções são mapeadas para a cláusula LIMIT na consulta SQL.

5. Para executar a consulta, acesse a barra de ferramentas e selecione Executar consulta.

   O Log Analytics apresenta os resultados da consulta em uma tabela. No entanto, é possível criar um gráfico e salvar a tabela ou o gráfico em um painel personalizado. Para mais informações, consulte Criar consulta SQL SQL.

   Se a barra de ferramentas mostrar Executar no BigQuery, mude o Log Analytics para usar o mecanismo de consulta padrão. Para fazer essa mudança, na barra de ferramentas do painel Consulta, clique em Configurações e selecione Analytics (padrão).

Mostrar o esquema

O esquema define como os dados são armazenados, incluindo os campos e os tipos de dados deles. Essas informações são importantes porque o esquema determina os campos que você consulta e se é necessário converter campos para diferentes tipos de dados. Por exemplo, para escrever uma consulta que calcula a latência média de solicitações HTTP, você precisa saber como acessar o campo de latência e se ele é armazenado como um número inteiro, como 100, ou como uma string, como "100". Se os dados de latência forem armazenados como uma string, a consulta precisará converter o valor em um valor numérico antes de calcular uma média.

Para identificar o esquema, faça o seguinte:

1. No console Google Cloud , acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No menu Visualizações, acesse a seção segment Logs ou data_table Visualizações do Analytics e selecione a visualização que você quer consultar.

   O painel Esquema é atualizado. O Log Analytics infere automaticamente os campos de uma coluna quando o tipo de dados é JSON. Para saber com que frequência esses campos inferidos aparecem nos seus dados, clique em Opções e selecione Ver informações e descrição.

   Para visualizações de registros, o esquema é fixo e corresponde ao LogEntry. Para visualizações de análise, é possível modificar a consulta SQL para mudar o esquema.

A seguir

• Saiba mais sobre as visualizações do Google Analytics.
• Salvar e compartilhar uma consulta SQL.
• Representar os resultados da consulta SQL em um gráfico.
• Exemplos de consultas SQL.
• Consulte um conjunto de dados vinculado no BigQuery.