Criar gráficos com os resultados da consulta com a Análise de dados de registros

Neste documento, descrevemos como criar um gráfico com os resultados da consulta da Análise de dados de registros. Com isso, é possível identificar padrões e tendências nos dados de registro. Com a Análise de dados de registros, é possível pesquisar e agregar registros para gerar insights úteis usando consultas SQL.

Depois de executar uma consulta, os resultados podem ser visualizados em uma tabela ou convertidos em um gráfico. Por exemplo, para ver quais tipos de gravidade seus registros estão gerando, crie um gráfico que exiba as contagens de registros gerados nas últimas 12 horas e divida os registros por severity. A captura de tela a seguir ilustra os pontos de dados divididos em diferentes tipos de gravidade:

Antes de começar

• Verifique se você tem um bucket de registros com upgrade para usar a Análise de dados de registros. A página Armazenamento de registros lista os buckets de registros e as informações de configuração deles.

  No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Armazenamento de registros:

  Acessar o armazenamento de registros

• Para receber as permissões necessárias para carregar a página Análise de registros e executar consultas, peça ao administrador para conceder a você o papel do IAM de Visualizador de registros (roles/logging.viewer) no Cloud Logging. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

  Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

  As permissões necessárias para visualizar entradas de registro e executar consultas na página Análise de registros são as mesmas necessárias para visualizar registros na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou a visualização _AllLogs do bucket de registros _Default, consulte Papéis do Cloud Logging.

• Para receber as permissões necessárias para criar e gerenciar painéis usando o console do Google Cloud, peça ao administrador para conceder a você o Editor do Monitoring (roles/monitoring.editor) do IAM no projeto. Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

  Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Selecione os dados para o gráfico

Para configurar quais dados serão exibidos em um gráfico, crie uma consulta usando o SQL. Quando você seleciona a guia Gráfico, o Logging gera um gráfico automaticamente com base nos resultados da consulta. Depois que a consulta é executada e um gráfico é gerado, você pode personalizar a configuração dele alterando o tipo de gráfico e selecionando colunas para visualizar dados diferentes.

Para ver os resultados da consulta como um gráfico, execute uma consulta da seguinte maneira:

1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

   Acesse a Análise de dados de registros

2. No painel Consulta, insira uma consulta e clique em Executar.

3. Após a conclusão da consulta, na guia Resultados, selecione como você quer visualizar os resultados da consulta:

   • Tabela: exibe somente uma tabela dos resultados da consulta.

   • Gráfico: exibe somente um gráfico dos resultados da consulta.

   • Ambos: veja uma tabela e um gráfico lado a lado.

4. Se você selecionou a guia Gráfico ou Ambos, pode personalizar a configuração do gráfico alterando o tipo de gráfico e personalizando as linhas e colunas que serão exibidas. Para mais informações sobre a configuração do gráfico, consulte Personalizar a configuração do gráfico.

Personalizar a configuração do gráfico

É possível personalizar a configuração do gráfico alterando o tipo de gráfico, selecionando a dimensão e a medição do gráfico e aplicando um detalhamento. A Dimensão é usada para agrupar ou categorizar linhas e é o valor do eixo X. A medição, ou o valor do eixo Y, é uma série de dados traçada em relação ao eixo Y.

Mudar o tipo de gráfico

É possível selecionar um dos tipos de gráfico a seguir, dependendo do tipo de linhas e colunas selecionadas como dimensão e medida e de como você quer que os dados sejam visualizados.

• Gráfico de barras (padrão)

  Os gráficos de barras traçam dados em dois eixos. Se o gráfico usa uma categoria ou string como dimensão, é possível definir a configuração de um gráfico de barras como horizontal ou vertical, onde os eixos de dimensão e de medida são trocados.

• Gráfico de linhas

  Os gráficos de linhas podem ser usados para mostrar mudanças de dados ao longo do tempo. Quando você usa um gráfico de linhas, cada série temporal é mostrada por uma linha diferente que corresponde às medidas selecionadas.

  Se o eixo X for baseado no tempo, cada ponto de dados será colocado no início de um intervalo de tempo. Cada ponto de dados é conectado por interpolação linear.

• Gráfico de área Um gráfico de área é baseado em um gráfico de linhas, e a área abaixo de cada linha é sombreada. Nos gráficos de área, as séries de dados são empilhadas. Por exemplo, se você tiver duas séries idênticas, elas se sobrepõem em um gráfico de linhas, mas a área sombreada é empilhada em um gráfico de área.

• Gráfico de pizza

  Um gráfico de pizza mostra como as categorias em um conjunto de dados se relacionam com o conjunto inteiro, usando um círculo para representar o conjunto de dados inteiro e os encaixes no círculo para representar as categorias no conjunto de dados. O tamanho de um encaixe indica quanto, geralmente em porcentagem, a categoria contribui para o todo.

Alterar dimensão e medida

Para escolher quais linhas e colunas são representadas no gráfico, selecione os campos de dimensão e medida.

Observação :se os resultados da consulta tiverem uma coluna com strings longas, como mensagens de erro, e você selecionar essa coluna como a dimensão ou o detalhamento, o gráfico poderá ter erros ou valores inesperados.

• Dimensão

  A dimensão precisa ser uma coluna de carimbo de data/hora, numérica ou de string. Por padrão, a dimensão é definida como a primeira coluna com base em carimbo de data/hora no esquema. Se nenhum carimbo de data/hora estiver presente na consulta, a primeira coluna de string será selecionada como a dimensão. Também é possível personalizar a dimensão no painel Exibição de gráfico. Quando uma coluna de carimbo de data/hora é selecionada como a dimensão, o gráfico mostra as mudanças nos dados ao longo do tempo.

  Por padrão, o intervalo dos carimbos de data/hora é definido automaticamente, mas também é possível selecionar um intervalo personalizado. Os intervalos automáticos alteram os valores com base no seletor de período para manter grupos de tamanhos semelhantes.

  Também é possível desativar o intervalo, o que permite especificar suas próprias agregações e intervalos de tempo na consulta para uma análise mais complexa. Desativar o intervalo define a função de agregação das medidas como none. Somente medidas numéricas são permitidas quando o intervalo de dimensão está desativado.

  Observação :apenas a coluna TIMESTAMP pode ser usada como uma dimensão de carimbo de data/hora. Para usar DATE e DATETIME, utilize a função CAST() para converter os tipos de dados em TIMESTAMP.

• Medida

  É possível selecionar várias medidas no painel Exibição de gráfico. Ao selecionar uma medida, você também precisa selecionar a função de agregação a ser executada nos valores agrupados, como count, sum, average e percentile-99. Por exemplo, count-distinct retorna o número de valores exclusivos em uma determinada coluna.

  Se você marcar a caixa de seleção Desativar intervalo para a dimensão, a opção de função de agregação none vai ficar disponível. Se a dimensão for um valor de string, a caixa de seleção Desativar intervalo não será mostrada. No entanto, definir as funções de agregação de uma medida como none também desativa o intervalo.

Adicionar um detalhamento

Para dividir uma única série de dados em várias com base em outra coluna, adicione um detalhamento.

Ao selecionar um detalhamento, escolha colunas que contenham um pequeno número de rótulos curtos e significativos, como region_name, em vez de campos que podem conter um grande número de strings ou strings longas, como textPayload.

Por exemplo, consulte a configuração de gráfico a seguir, em que o campo Dimensão está definido como type, o campo Medir como Contagem de linhas e o campo Detalhamento está definido como severity:

O gráfico a seguir é um exemplo com mais detalhamento:

Na captura de tela anterior, você vê uma série de dados empilhados, em que o tipo de recurso k8s_container é dividido em diferentes tipos severity. Isso permite identificar quantos registros de cada tipo de gravidade foram gerados por um determinado recurso.

Observação :se o gráfico tiver mais de uma medida, não será possível adicionar um detalhamento.

Salvar um gráfico em um painel personalizado

Depois que um gráfico é gerado com base na sua consulta, é possível salvá-lo em um painel personalizado. Os painéis personalizados permitem exibir e organizar informações úteis para você usando vários tipos de widget. Por exemplo, é possível criar um painel com detalhes sobre o uso dos buckets do Cloud Storage:

Para salvar o gráfico em um painel, faça o seguinte:

1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

   Acesse a Análise de dados de registros

2. Execute uma consulta para gerar um gráfico e clique em Salvar gráfico na guia Gráfico.

3. Na caixa de diálogo Salvar no painel, insira um título para o gráfico e selecione o painel em que ele será salvo.

4. Opcional: para exibir o painel personalizado, no aviso, clique em Exibir painel.

Para conferir uma lista de painéis personalizados que contêm gráficos gerados por consultas SQL da Análise de dados de registros, acesse o botão Salvar gráfico e clique no Menu .

Editar um gráfico salvo em um painel personalizado

Para editar gráficos gerados por consultas SQL da Análise de dados de registros salvas em um painel, consulte Modificar a configuração de um widget. Na caixa de diálogo Configurar widget, edite a consulta usada para gerar um gráfico ou personalize a configuração do gráfico para visualizar dados diferentes.

Limitações

• Se o projeto do Google Cloud estiver em uma pasta que usa Assured Workloads, os gráficos gerados não poderão ser exibidos em um painel personalizado.

• Os filtros no nível do painel não se aplicam a gráficos gerados com base em uma consulta SQL da Análise de dados de registros.

Amostras de consultas

Esta seção fornece exemplos de consultas SQL para criar gráficos com os resultados da sua consulta. Para receber insights mais úteis dos seus registros, personalize a configuração do gráfico. Para usar as consultas de amostra, faça o seguinte:

1. No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:

   Acesse a Análise de dados de registros

2. Identifique o nome da tabela de uma visualização de registro executando a consulta padrão:

   Na lista Visualizações de registros, localize a visualização de registro e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela que é consultada. O nome da tabela tem o formato project_ID.region.bucket_ID.view_ID.

   Para mais informações sobre como acessar a consulta padrão, acesse Consultar uma visualização de registros.

3. Substitua TABLE pelo nome da tabela que corresponde à visualização que você quer consultar e copie a consulta.

4. Cole a consulta no painel Consulta e clique em Executar consulta.

Gráficos com entradas de registro por local e gravidade

A consulta a seguir seleciona location e severity, com a transmissão de local como uma string:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE`

Um exemplo de configuração de gráfico e gráfico tem a seguinte aparência:

Na captura de tela anterior, a configuração do gráfico tem a seguinte configuração:

• Tipo de gráfico: gráfico de barras, horizontal
• Dimensão: location, com um limite de 10
• Medir: contar linhas
• Detalhamento: severity, com um limite de cinco

Criar gráficos de registros de auditoria de acesso a dados do BigQuery

A consulta a seguir filtra os registros de auditoria data_access do BigQuery e seleciona determinados campos, como user_email, ip, auth_permission e job_execution_project. Por exemplo, é possível criar um gráfico que visualiza a frequência de uso da API BigQuery de cada principal ao longo do tempo.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Um exemplo de configuração de gráfico e gráfico tem a seguinte aparência:

Na captura de tela anterior, a configuração do gráfico tem a seguinte configuração:

• Tipo de gráfico: gráfico de barras, vertical
• Dimensão: user_email, com um limite de cinco
• Medir: contar linhas
• Detalhamento: auth_permission, com um limite de cinco

Limitações

• As colunas selecionadas precisam ter pelo menos uma linha com um valor não nulo.

• Se você salvar uma consulta e personalizar a configuração do gráfico, a configuração do gráfico personalizado não será salva.

• Se a consulta já tiver agregações, o gráfico gerado pode ser diferente devido à agregação adicional que é aplicada automaticamente pela Análise de dados de registros.

• Os caminhos JSON precisam ser transmitidos para strings e números para serem mapeados.

A seguir

• Para uma visão geral da Análise de dados de registros, consulte Análise de dados de registros.

• Para consultas de amostra, consulte Amostras de consultas SQL.

• Para saber como fazer análises com registros de auditoria usando a Análise de dados de registros, consulte Consultas SQL para insights de segurança.