Gráfico dos resultados da consulta com a Análise de dados de registros

Este documento descreve como criar um gráfico com os resultados da consulta da Análise de dados de registros, que permite identificar padrões e tendências nos dados de registro. A Análise de registros permite pesquisar e agregar registros para gerar insights úteis usando consultas SQL.

Depois de executar uma consulta, os resultados dela podem ser visualizados em uma tabela ou convertidos em um gráfico. Além disso, a consulta e a visualização dela podem ser salvas em um painel. Por exemplo, para saber quais tipos de gravidade seus registros estão gerando, crie um gráfico que mostre as contagens de registros gerados nas últimas 12 horas e divida os registros por severity. A captura de tela a seguir ilustra pontos de dados divididos em diferentes tipos de gravidade:

Antes de começar

Observação: as permissões necessárias para visualizar entradas de registro e executar consultas na na página Análise de dados de registros são as mesmas que você precisa visualizar. registros na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou consultar a visualização _AllLogs do bucket de registro _Default, consulte Papéis do Cloud Logging.

1. Para receber as permissões necessárias para usar a Análise de dados de registros, peça ao administrador para conceder a você seguintes papéis do IAM nos buckets ou visualizações de registros:

   • Para consultar os buckets de registro _Required e _Default: Visualizador de registros (roles/logging.viewer).
   • Para consultar todas as visualizações de registros em um projeto: Acessador de visualização de registros (roles/logging.viewAccessor).
   • Para consultar registros em uma visualização de registros específica: Crie uma política do IAM para a visualização de registros ou restrinja o papel de acessador de visualizações de registros (roles/logging.viewAccessor) a uma determinada visualização. Para mais informações, consulte Controlar o acesso a uma visualização de registros.

2. Para ter as permissões necessárias para criar gráficos, peça ao administrador para conceder a você Papel do IAM Editor do Monitoring (roles/monitoring.editor) no projeto.

3. Para as visualizações de registros que você quer consultar, acesse a página Armazenamento de registros. e verifique se os buckets que armazenam essas visualizações foram atualizados para usar a Análise de dados de registros. Se necessário, faça upgrade do bucket de registros.

   Acessar o armazenamento de registros

4. Opcional: se você quiser consultar seus dados de registro usando um conjunto de dados do BigQuery, por exemplo, se você pretende usar a página BigQuery Studio, crie um conjunto de dados vinculado do BigQuery.

Selecionar os dados para o gráfico

Para configurar quais dados serão mostrados em um gráfico, crie uma consulta usando SQL: Quando você seleciona a guia Chart, o registro gera automaticamente um gráfico com base nos resultados da consulta. Após a execução da consulta e a geração de um gráfico, é possível para personalizar a configuração do gráfico alterando o tipo dele e selecionando colunas para visualizar dados diferentes.

Para visualizar os resultados da consulta como um gráfico, execute uma consulta da seguinte forma:

1. No console do Google Cloud, acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No painel Consulta, insira uma consulta e clique em Executar.

3. Após a conclusão da consulta, na guia Resultados, selecione como você quer para ver os resultados da consulta:

   • Tabela: somente formato tabular.

   • Gráfico: somente formato de gráfico

   • Ambos: formato de gráfico e tabular.

     Depois de selecionar como visualizar os resultados da consulta, você poderá configurar qualquer para a visualização selecionada e salvar a consulta e os resultados em um painel personalizado. O formato salvo é tabular quando você seleciona a opção Tabela. Caso contrário, o formato é um gráfico.

     Para gráficos, as opções de visualização permitem selecionar o tipo de gráfico, e selecionar as linhas e colunas que serão exibidas no gráfico. Para mais informações sobre a configuração do gráfico, consulte Personalizar a configuração do gráfico.

Personalizar a configuração do gráfico

Para personalizar a configuração do gráfico, mude o tipo, selecione a dimensão e a medida e aplique um detalhamento. O Dimensão é usada para agrupar ou categorizar linhas e é o valor do eixo X. A medida, ou o valor do eixo Y, é uma série de dados que é representada em relação ao eixo Y.

Alterar tipo de gráfico

Você pode escolher entre os seguintes tipos de gráficos, dependendo do tipo de linhas e colunas que você selecionou como dimensão e medida e como quer que esses dados sejam visualizados.

• Gráfico de barras (padrão): os gráficos de barras representam dados em dois eixos. Se o gráfico usa uma categoria ou string como dimensão, será possível definir a configuração de um gráfico de barras para horizontal ou vertical, em que os eixos de dimensão e medição são trocados.

• Gráfico de linhas: Os gráficos de linhas podem ser usados para mostrar mudanças de dados ao longo do tempo. Quando você usa um gráfico de linhas, cada série temporal é mostrada por uma linha diferente que corresponde às medidas selecionadas.

  Se o eixo X se baseia no tempo, cada ponto de dados é colocado no início do um intervalo de tempo. Cada ponto de dados é conectado por interpolação linear.

• Gráfico de área empilhada: um gráfico de área é baseado em um gráfico de linhas, e a área abaixo de cada linha é sombreada. Nos gráficos de área, as séries de dados são empilhadas. Por exemplo, se você tiver duas séries idênticas, elas vão se sobrepor em um gráfico de linhas, mas a área sombreada será empilhada em um gráfico de área.

• Gráfico de pizza ou de rosca: um gráfico de pizza mostra como as categorias de um conjunto de dados se relacionam a ele, usando um círculo para representar o conjunto de dados inteiro e fatias no círculo para representar as categorias no conjunto de dados. O tamanho de uma fatia indica a porcentagem que a categoria contribui para o todo.

• Tabela: uma tabela mostra uma linha para cada linha no resultado da consulta. As colunas na tabela são definidas pela cláusula SELECT. Se você planeja exibir dados em forma tabular em um painel, depois use uma cláusula LIMIT para restringir os o número de linhas no resultado seja menor que algumas centenas.

• Medidor ou visão geral: Medidores e quadros de visão geral fornecem o valor mais recente junto com uma indicação verde, âmbar ou vermelha com base em como esse valor se compara a um conjunto de limites. Ao contrário dos indicadores, que mostram apenas informações sobre o valor mais recente, os cards de indicadores também podem incluir informações sobre valores anteriores.

  Os indicadores e os scorecards só podem mostrar o resultado da consulta quando ele contém pelo menos uma linha e essa linha contém uma coluna com um carimbo de data/hora e uma coluna com dados numéricos. O resultado da consulta pode conter várias linhas e mais de duas colunas.

  Se você quiser realizar a agregação baseada em tempo na consulta, faça o seguinte:

  • Configure sua consulta para agregar dados em um intervalo de tempo, ordenar os resultados por carimbos de data/hora decrescentes e limitar o número de linhas nos resultados. É possível usar a cláusula LIMIT ou o seletor de período para limitar o número de linhas no resultado da consulta.

    Por exemplo, a consulta a seguir agrega dados por hora, aplica um limite e classifica os resultados:

    SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count
    FROM `TABLE_NAME_OF_LOG_VIEW`
    WHERE severity IS NOT NULL AND severity = "DEFAULT"
    GROUP BY hour,severity
    ORDER BY hour DESC
    LIMIT 10
    

  • Defina a dimensão para corresponder à coluna que informa a unidade de tempo. Por exemplo, se a consulta agrega dados por uma hora e cria uma coluna chamada hour, defina o menu Dimensão como hour.

  • Selecione Desativar intervalo porque a consulta já especifica o intervalo de agregação. No exemplo, o intervalo é de uma hora.

  • Defina a Medição como a coluna numérica e a função como none

    Observação: se a consulta realizar agregação baseada em tempo, verifique se você siga as orientações anteriores. Outras configurações resultam na sua consulta e a Análise de dados de registros, realizando operações de agregação, medidor ou visão geral mostrando valores inesperados.

  Se você quiser usar a Análise de registros para realizar a agregação baseada em tempo, faça o seguinte:

  • Configure o seletor de intervalo de tempo, que afeta o número de linhas no resultado da consulta.
  • Defina a dimensão para corresponder à coluna que informa a unidade de tempo. Por exemplo, defina esse menu como timestamp.
  • Defina o menu Intervalo como o intervalo de agregação como um valor intervalo. Por exemplo, defina o valor desse campo como 1 hour. Não selecione Intervalo automático.
  • Defina a Medição como a coluna numérica e selecione uma função como sum.

Mudar dimensão e medida

Para escolher quais linhas e colunas serão exibidas no gráfico, selecione a dimensão e medir os campos.

Observação: se os resultados da consulta contiverem uma coluna com strings longas, como mensagens de erro e seleciona essa coluna como a dimensão ou detalhado, o gráfico poderá ter erros ou valores inesperados.

• Dimensão

  A dimensão precisa ser uma coluna de carimbo de data/hora, numérica ou de string. Por padrão, a dimensão é definida como à primeira coluna com base em carimbo de data/hora no esquema. Se nenhum carimbo de data/hora estiver presente na consulta, o a primeira coluna de string é selecionada como a dimensão. Também é possível personalizar a dimensão no painel Exibição do gráfico. Quando uma coluna de carimbo de data/hora é selecionada como dimensão, o gráfico mostra como os dados mudam com o tempo.

  Por padrão, o intervalo de carimbos de data/hora é definido mas também é possível selecionar um intervalo personalizado. Mudança automática nos intervalos com base no seletor de intervalo de tempo para manter grupos de tamanhos semelhantes.

  Você também pode desativar o intervalo, que permite especificar seu próprio agregações e períodos na consulta para análises mais complexas. A desativação do intervalo define a função de agregação das medidas como none. Somente medidas numéricas são permitidas quando o intervalo de dimensão está desativado.

  Observação: somente a coluna TIMESTAMP pode ser usada como uma dimensão de carimbo de data/hora. Para usar DATE e DATETIME, use a função CAST() para converter o tipos de dados para TIMESTAMP.

• Medida

  É possível selecionar várias medidas no painel Exibição do gráfico. Ao selecionar uma medida, você também precisa selecionar a função de agregação a ser realizada nos valores agrupados, como count, sum, average e percentile-99. Por exemplo, count-distinct retorna o número de valores exclusivos em uma determinada coluna.

  Se você marcar a caixa de seleção Desativar intervalo para a dimensão, A opção de função de agregação none está disponível. Se a dimensão for valor da string, a caixa de seleção Desativar intervalo não será mostrada. No entanto, definir as funções de agregação de uma medida como none também desativa o intervalo.

Adicionar um detalhamento

Para dividir uma única série de dados em várias com base em outra coluna, adicione um detalhamento.

Ao selecionar um detalhamento, escolha colunas que contenham um pequeno número de rótulos curtos e significativos, como region_name, em vez de campos que podem conter um grande número de strings ou strings longas, como textPayload.

Por exemplo, confira a configuração do gráfico a seguir, em que o campo Dimensão está definido como tipo, o campo Medida está definido como Contar linhas e o campo Detalhe está definido como gravidade:

O gráfico a seguir é um exemplo com um detalhamento adicionado:

Na captura de tela anterior, há uma série de dados empilhados, em que o recurso o tipo k8s_container é dividido em diferentes tipos de severity. Isso permite que você identificar quantos registros de cada tipo de gravidade foram gerados por uma recurso.

Observação: se o gráfico tiver mais de uma medida, não será possível adicionar um detalhamento.

Salvar um gráfico em um painel personalizado

Visualização

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Depois que um gráfico é gerado com base na consulta, é possível salvá-lo em um painel personalizado. Com os painéis personalizados, você pode exibir e organizar informações úteis usando vários tipos de widgets. Por exemplo, é possível criar um painel que mostra detalhes sobre o uso dos buckets do Cloud Storage:

Para salvar o gráfico em um painel, faça o seguinte:

1. No console do Google Cloud, acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Execute uma consulta para gerar um gráfico e clique em Salvar gráfico na guia Gráfico.

3. Na caixa de diálogo Salvar no dashboard, insira um título para o gráfico e selecione o painel em que você quer salvar o gráfico.

4. Opcional: para conferir o painel personalizado, no aviso, Clique em Ver painel.

Para conferir uma lista de painéis personalizados com gráficos gerados por consultas SQL do Log Analytics, acesse o botão Save Chart e clique em Menu.

Editar um gráfico salvo em um painel personalizado

Para editar gráficos gerados por consultas SQL do Log Analytics que são salvos em um painel, consulte Modificar a configuração de um widget. Na caixa de diálogo Configurar widget, você pode editar a consulta usada para gerar um gráfico ou personalizar a configuração do gráfico para visualizar dados diferentes.

Limitações

• Se o projeto do Google Cloud estiver em uma pasta que usa o Assured Workloads, os gráficos gerados não poderão ser exibidos em um painel personalizado.

• Os filtros no nível do painel não se aplicam aos gráficos gerados a partir de uma consulta SQL da Análise de registros.

Amostras de consultas

Esta seção apresenta exemplos de consultas SQL para gerar gráficos com os resultados da consulta. Para receber insights mais úteis dos seus registros, personalize a configuração do gráfico. Para usar as consultas de amostra, faça o seguinte:

1. No console do Google Cloud, acesse a página Análise de dados de registros:

   Acesse Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Identifique o nome da tabela da visualização de registro que você quer consultar.

   Para identificar esse nome, acesse a lista Visualizações de registros. localize a visualização de registros e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, inclui o nome da tabela da visualização de registro que é consultada. O nome da tabela tem o formato project_ID.region.bucket_ID.view_ID.

   Para mais informações sobre como acessar a consulta padrão, consulte Consultar uma visualização de registro.

3. Substitua TABLE_NAME_OF_LOG_VIEW pelo nome da tabela da visualização de registro que você quer consultar e copie a consulta.

4. Cole a consulta no painel Consulta e clique em Executar consulta.

Mostrar entradas de registro em um gráfico por local e gravidade

A consulta a seguir seleciona location e severity, com o local convertido em uma string:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE_NAME_OF_LOG_VIEW`

Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:

Na captura de tela anterior, a configuração do gráfico tem o seguinte configuração do gráfico:

• Tipo de gráfico: gráfico de barras, horizontal
• Dimensão: location, com um limite de 10
• Medida: contar linhas
• Detalhes: severity, com um limite de cinco

Gerar um gráfico dos registros de auditoria de acesso a dados do BigQuery

A consulta a seguir filtra os registros de auditoria data_access do BigQuery e seleciona determinados campos, como user_email, ip, auth_permission e job_execution_project. Por exemplo, é possível criar um gráfico que visualiza a frequência de uso da API BigQuery de cada principal ao longo do tempo.

SELECT 
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:

Na captura de tela anterior, a configuração do gráfico tem o seguinte gráfico configuração:

• Tipo de gráfico: gráfico de barras, vertical
• Dimensão: user_email, com um limite de cinco
• Medida: contar linhas
• Detalhamento: auth_permission, com um limite de cinco

Limitações

• As colunas selecionadas precisam ter pelo menos uma linha com um valor não nulo.

• Se você salvar uma consulta e personalizar a configuração do gráfico, o modelo a configuração do gráfico não foi salva.

• Se a consulta já tiver agregações, o gráfico gerado poderá ser diferente devido a uma agregação adicional aplicada automaticamente pelo Log Analytics.

• Os caminhos JSON precisam ser convertidos em strings e números para serem incluídos em um gráfico.

A seguir

• Para uma visão geral da Análise de dados de registros, consulte Análise de dados de registros.

• Para consultar exemplos, acesse Exemplos de consultas SQL.

• Para saber como analisar com registros de auditoria usando Análise de dados de registros, consulte Consultas SQL para insights de segurança.