Gráfico dos resultados da consulta com a Análise de dados de registros

Neste documento, descrevemos como gerar gráficos com os resultados da consulta da Análise de dados de registros, o que permite identificar padrões e tendências nos dados de registro. Com a Análise de dados de registros, é possível pesquisar e agregar registros para gerar insights úteis usando consultas SQL.

Depois de executar uma consulta, os resultados dela podem ser visualizados em uma tabela ou convertidos em um gráfico. Por exemplo, para ver quais tipos de gravidade seus registros estão gerando, crie um gráfico que mostre as contagens de registros gerados nas últimas 12 horas e separe os registros por severity. A captura de tela a seguir ilustra os pontos de dados divididos em diferentes tipos de gravidade:

Exemplo de gráfico que ilustra um detalhamento por gravidade.

Antes de começar

  1. Para receber as permissões necessárias para usar a Análise de dados de registros a fim de executar consultas, visualizar registros e criar gráficos, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

    Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

    Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

  2. Para as visualizações de registro que você quer consultar, acesse a página Armazenamento de registros e verifique se os buckets que armazenam essas visualizações foram atualizados para usar a Análise de dados de registros. Se necessário, faça upgrade do bucket de registros.

    No console do Google Cloud, acesse a página Armazenamento de registros:

    Acessar o armazenamento de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.

  3. Opcional: se você quiser consultar seus dados de registro usando um conjunto de dados do BigQuery, crie um conjunto de dados vinculado do BigQuery.

Selecionar os dados para o gráfico

Para configurar quais dados exibir em um gráfico, crie uma consulta usando o SQL. Quando você seleciona a guia Gráfico, o Logging gera automaticamente um gráfico com base nos resultados da consulta. Depois que a consulta tiver sido executada e um gráfico tiver sido gerado, será possível personalizar a configuração do gráfico alterando o tipo de gráfico e selecionando colunas para visualizar dados diferentes.

Para visualizar os resultados da consulta como um gráfico, execute uma consulta da seguinte forma:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acessar a Análise de dados de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.

  2. No painel Consulta, insira uma consulta e clique em Executar.

  3. Após a conclusão da consulta, na guia Resultados, selecione como você quer ver os resultados da consulta:

    • Tabela: confira apenas uma tabela dos resultados da consulta.

    • Gráfico: confira somente um gráfico dos resultados da consulta.

    • Ambos: ver uma tabela e um gráfico lado a lado.

  4. Se você selecionou a guia Gráfico ou Ambas, pode personalizar a configuração do gráfico alterando o tipo e personalizando quais linhas e colunas são representadas. Para mais informações sobre a configuração do gráfico, consulte Personalizar a configuração do gráfico.

Personalizar a configuração do gráfico

Para personalizar a configuração do gráfico, altere o tipo dele, selecione a dimensão e a medição do gráfico e aplique um detalhamento. A Dimensão é usada para agrupar ou categorizar linhas e é o valor do eixo X. A medida, ou o valor do eixo Y, é uma série de dados traçada em relação ao eixo Y.

Alterar tipo de gráfico

É possível selecionar um dos seguintes tipos de gráficos, dependendo do tipo de linhas e colunas selecionadas como dimensão e medida e de como você quer que esses dados sejam visualizados.

  • Gráfico de barras (padrão)

    Os gráficos de barras plotam dados em dois eixos. Se o gráfico usa uma categoria ou string como dimensão, você pode definir a configuração de um gráfico de barras como horizontal ou vertical, em que os eixos de dimensão e medição são trocados.

  • Gráfico de linhas

    Os gráficos de linhas podem ser usados para mostrar mudanças de dados ao longo do tempo. Quando você usa um gráfico de linhas, cada série temporal é mostrada por uma linha diferente que corresponde às medidas selecionadas.

    Se o eixo X for baseado em tempo, cada ponto de dados será colocado no início de um intervalo de tempo. Cada ponto de dados é conectado por interpolação linear.

  • Gráfico de área Um gráfico de área é baseado em um gráfico de linhas, e a área abaixo de cada linha está sombreada. Nos gráficos de área, as séries de dados são empilhadas. Por exemplo, se você tiver duas séries idênticas, elas se sobrepõem em um gráfico de linhas, mas a área sombreada é empilhada em um gráfico de área.

  • Gráfico de pizza

    Um gráfico de pizza mostra como as categorias em um conjunto de dados se relacionam com todo o conjunto de dados usando um círculo para representar o conjunto inteiro e encaixes no círculo para representar as categorias no conjunto de dados. O tamanho de um encaixe indica quanto a categoria contribui, geralmente em porcentagem, para o todo.

  • Medidores e visões gerais

    Medidores e visões gerais mostram a medição mais recente em comparação com um conjunto de limites codificados por cores. Os medidores exibem apenas a medida mais recente, enquanto as visões gerais também mostram um histórico de medições recentes. Esses widgets também são codificados por cores. Quando o valor mais recente está com intervalos esperados, os dados são mostrados em verde. Quando o valor está em um intervalo de aviso, os dados são mostrados em âmbar. Da mesma forma, quando o valor está em um intervalo de perigo, o vermelho aparece.

    Não é possível especificar um detalhamento ao exibir os resultados da consulta usando um medidor ou uma visão geral.

Mudar dimensão e medição

Para escolher quais linhas e colunas são exibidas no gráfico, selecione os campos de dimensão e medição.

  • Dimensão

    A dimensão precisa ser uma coluna de carimbo de data/hora, numérica ou de string. Por padrão, a dimensão é definida como a primeira coluna do esquema, baseada em carimbo de data/hora. Se nenhum carimbo de data/hora estiver presente na consulta, a primeira coluna de string será selecionada como a dimensão. Também é possível personalizar a dimensão no painel Exibição do gráfico. Quando uma coluna de carimbo de data/hora é selecionada como dimensão, o gráfico mostra como os dados mudam ao longo do tempo.

    Por padrão, o intervalo dos carimbos de data/hora é definido automaticamente, mas também é possível selecionar um intervalo personalizado. Os intervalos automáticos alteram valores com base no seletor de intervalo de tempo para manter grupos de tamanhos semelhantes.

    Também é possível desativar o intervalo, que permite especificar suas próprias agregações e períodos na consulta para análises mais complexas. Desativar o intervalo define a função de agregação das medidas como none. Somente medidas numéricas são permitidas quando o intervalo de dimensão está desativado.

  • Medida

    É possível selecionar várias medidas no painel Exibição do gráfico. Ao selecionar uma medida, você também precisa selecionar a função de agregação a ser executada nos valores agrupados, como count, sum, average e percentile-99. Por exemplo, count-distinct retorna o número de valores exclusivos em uma determinada coluna.

    Se você marcar a caixa de seleção Desativar intervalo para a dimensão, a opção de função de agregação none estará disponível. Se a dimensão for um valor de string, a caixa de seleção Desativar intervalo não será mostrada. No entanto, definir as funções de agregação de uma medida como none também desativa o intervalo.

Adicionar um detalhamento

Para dividir uma única série de dados em várias com base em outra coluna, adicione um detalhamento.

Ao selecionar um detalhamento, escolha colunas que contenham um pequeno número de rótulos curtos e significativos, como region_name, em vez de campos que possam conter um grande número de strings ou strings longas, como textPayload.

Por exemplo, veja a configuração do gráfico a seguir, em que o campo Dimensão está definido como type, o campo Measure está definido como Count rows e o campo Detalhamento está definido como severity:

Exemplo de configuração de gráfico que adiciona um detalhamento.

O gráfico a seguir é um exemplo com um detalhamento adicionado:

Exemplo de gráfico que contém um detalhamento por gravidade.

Na captura de tela anterior, você vê uma série de dados empilhados, em que o tipo de recurso k8s_container é dividido em diferentes tipos de severity. Isso permite identificar quantos registros de cada tipo de gravidade foram gerados por um determinado recurso.

Salvar um gráfico em um painel personalizado

Depois que um gráfico for gerado a partir da sua consulta, será possível salvar esse gráfico em um painel personalizado. Os painéis personalizados permitem exibir e organizar informações úteis para você usando uma variedade de tipos de widget. Por exemplo, é possível criar um painel com detalhes sobre o uso dos buckets do Cloud Storage:

Exemplo de painel que mostra o uso dos seus buckets do Cloud Storage.

Para salvar o gráfico em um painel, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acessar a Análise de dados de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.

  2. Execute uma consulta para gerar um gráfico e clique em Salvar gráfico na guia Gráfico.

  3. Na caixa de diálogo Salvar no painel, insira um título para o gráfico e selecione o painel em que você quer salvar.

  4. Opcional: para ver o painel personalizado, clique em Ver painel na notificação.

Para conferir uma lista de painéis personalizados que contêm gráficos gerados por consultas SQL da Análise de dados de registros, clique no botão Salvar gráfico e em Menu.

Editar um gráfico salvo em um painel personalizado

Para editar gráficos gerados pelas consultas SQL da Análise de dados de registros salvas em um painel, consulte Modificar a configuração de um widget. Na caixa de diálogo Configurar widget, é possível editar a consulta usada para gerar um gráfico ou personalizar a configuração dele para visualizar dados diferentes.

Limitações

  • Se o projeto do Google Cloud estiver em uma pasta que usa o Assured Workloads, os gráficos gerados não vão aparecer em um painel personalizado.

  • Os filtros no nível do painel não se aplicam a gráficos gerados de uma consulta SQL da Análise de dados de registros.

Amostras de consultas

Esta seção fornece exemplos de consultas SQL para criar um gráfico com os resultados da sua consulta. Para receber insights mais úteis dos seus registros, personalize a configuração do gráfico. Para usar as consultas de amostra, faça o seguinte:

  1. No console do Google Cloud, acesse a página Análise de dados de registros:

    Acessar a Análise de dados de registros

    Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.

  2. Identifique o nome da tabela de uma visualização de registro executando a consulta padrão:

    Na lista Visualizações de registro, localize a visualização de registro e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela consultada. O nome da tabela tem o formato project_ID.region.bucket_ID.view_ID.

    Para mais informações sobre como acessar a consulta padrão, confira Consultar uma visualização de registro.

  3. Substitua TABLE pelo nome da tabela que corresponde à visualização que você quer consultar e copie a consulta.

  4. Cole a consulta no painel Consulta e clique em Executar consulta.

Criar gráficos com as entradas de registro por local e gravidade

A consulta a seguir seleciona location e severity, com o local cast como uma string:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE`

Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:

Exemplo de gráfico com entradas de registro de local e gravidade.

Na captura de tela anterior, a configuração do gráfico é a seguinte:

  • Tipo de gráfico: gráfico de barras, horizontal
  • Dimensão: location, com um limite de 10
  • Medida: contar linhas
  • Detalhamento: severity, com um limite de cinco

Criar gráficos de registros de auditoria de acesso a dados do BigQuery

A consulta a seguir filtra os registros de auditoria data_access do BigQuery e seleciona determinados campos, como user_email, ip, auth_permission e job_execution_project. Por exemplo, é possível criar um gráfico que visualiza a frequência de uso da API BigQuery de cada principal ao longo do tempo. 

SELECT 
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:

Exemplo de gráfico para registros de auditoria de acesso a dados do BigQuery

Na captura de tela anterior, a configuração do gráfico é a seguinte:

  • Tipo de gráfico: gráfico de barras, vertical
  • Dimensão: user_email, com um limite de cinco
  • Medida: contar linhas
  • Detalhamento: auth_permission, com um limite de cinco

Limitações

  • As colunas selecionadas precisam ter pelo menos uma linha com um valor não nulo.

  • Se você salvar uma consulta e personalizar a configuração do gráfico, a configuração do gráfico não será salva.

  • Se a consulta já contiver agregações, o gráfico gerado poderá ser diferente devido à agregação extra que é aplicada automaticamente pela Análise de dados de registros.

  • Os caminhos JSON precisam ser convertidos em strings e números para serem incluídos em um gráfico.

A seguir