Este documento descreve como criar um gráfico com os resultados da consulta da Análise de dados de registros, que permite identificar padrões e tendências nos dados de registro. Análise de dados de registros permite pesquisar e agregar registros para gerar insights úteis usando SQL consultas.
Depois que você executa uma consulta, os resultados dela podem ser mostrados em uma tabela ou convertidos
em um gráfico. Por exemplo, para conferir os tipos de gravidade dos registros
gerar, criar um gráfico que mostre as contagens de registros gerados em
nas últimas 12 horas e detalhar os registros por severity
. O seguinte
A captura de tela ilustra os pontos de dados divididos em diferentes tipos de gravidade:
Antes de começar
-
Para ter as permissões necessárias para usar a Análise de dados de registros a fim de executar consultas, visualizar registros e criar gráficos, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para consultar os buckets de registro
_Required
e_Default
: Visualizador de registros (roles/logging.viewer
) -
Para consultar buckets de registros personalizados:
Acesso de visualização de registros (
roles/logging.viewAccessor
) -
(Opcional) Para salvar gráficos em painéis:
Editor do Monitoring (
roles/monitoring.editor
)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.
-
Para consultar os buckets de registro
Para as visualizações de registros que você quer consultar, acesse a página Armazenamento de registros. e verifique se os buckets que armazenam as visualizações de registros são atualizadas para usar a Análise de dados de registros. Se necessário, e atualizar o bucket de registros.
No console do Google Cloud, acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Opcional: se você quiser consultar seus dados de registro usando uma conjunto de dados do BigQuery, depois crie conjunto de dados vinculado do BigQuery.
Selecionar os dados para o gráfico
Para configurar quais dados serão mostrados em um gráfico, crie uma consulta usando SQL: Ao selecionar a guia Gráfico, O Logging gera um gráfico automaticamente com base na consulta resultados. Após a execução da consulta e a geração de um gráfico, é possível para personalizar a configuração do gráfico alterando o tipo dele e selecionando colunas para visualizar dados diferentes.
Para visualizar os resultados da consulta como um gráfico, execute uma consulta da seguinte forma:
-
No console do Google Cloud, acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
No painel Consulta, insira uma consulta e clique em Executar.
Após a conclusão da consulta, na guia Resultados, selecione como você quer para ver os resultados da consulta:
Tabela: somente formato tabular.
Gráfico: somente formato do gráfico
Ambos: formato de gráfico e tabular.
Se você selecionou a guia Gráfico ou Ambas, personalizar a configuração do gráfico alterando o tipo dele, e personalizando quais linhas e colunas são representadas no gráfico. Para mais informações sobre a configuração do gráfico, consulte Personalizar a configuração do gráfico.
Personalizar a configuração do gráfico
Para personalizar a configuração do gráfico, altere o tipo dele, a dimensão e a medição no gráfico e um detalhamento. O Dimensão é usada para agrupar ou categorizar linhas e é o valor do eixo X. O Medida, ou o valor do eixo Y, é uma série de dados traçada em relação aos Eixo Y.
Alterar tipo de gráfico
É possível selecionar um dos seguintes tipos de gráficos, dependendo do tipo de linhas e colunas que você selecionou como dimensão e medição, e como quer que essas que os dados sejam visualizados.
Gráfico de barras (padrão) : Os gráficos de barras plotam dados em dois eixos. Se o gráfico usa uma categoria ou string como dimensão, será possível definir a configuração de um gráfico de barras para horizontal ou vertical, em que os eixos de dimensão e medição são trocados.
Gráfico de linhas: Os gráficos de linhas podem ser usados para mostrar mudanças de dados ao longo do tempo. Quando você usa uma linha gráfico, cada série temporal é mostrada por uma linha diferente que corresponde as medidas que você selecionou.
Se o eixo X se baseia no tempo, cada ponto de dados é colocado no início do um intervalo de tempo. Cada ponto de dados é conectado por interpolação linear.
Gráfico de área empilhada: Um gráfico de área é baseado em um gráfico de linhas, e a área abaixo de cada linha é sombreadas. Nos gráficos de área, as séries de dados são empilhadas. Por exemplo, se você tiver duas séries idênticas, a série se sobrepõe em um gráfico de linhas, mas a a área sombreada é empilhada em um gráfico de área.
Gráfico de pizza ou de rosca: Um gráfico de pizza mostra como as categorias em um conjunto de dados se relacionam com o conjunto de dados inteiro, usando um círculo para representar todo o conjunto de dados e encaixes no círculo para representar as categorias no conjunto de dados. O tamanho de um encaixe indica o quanto a categoria contribui, frequentemente em porcentagem, o todo.
Medidor ou visão geral: Medidores e quadros de visão geral fornecem o valor mais recente junto com uma indicação verde, âmbar ou vermelha com base em como esse valor se compara a um conjunto de limites. Ao contrário dos medidores, que mostram apenas informações sobre os as visões gerais também podem incluir informações sobre valores passados.
Os medidores e as visões gerais só podem exibir o resultado da consulta quando ela resultado contém pelo menos uma linha, e essa linha contém uma coluna com um carimbo de data/hora e uma coluna com dados numéricos. O resultado da consulta pode conter várias linhas e mais de duas colunas.
Se você quiser realizar a agregação baseada em tempo na consulta, faça o seguinte:
Configure sua consulta para agregar dados em um intervalo de tempo, de acordo com os resultados por carimbos de data/hora decrescentes e para limitar o número de nos resultados. É possível usar a cláusula
LIMIT
ou a seletor de intervalo de tempo para limitar o número de linhas no resultado da consulta.Por exemplo, a consulta a seguir agrega dados por hora, aplica um limite e classifica os resultados:
SELECT TIMESTAMP_TRUNC(timestamp, HOUR) AS hour, severity, COUNT(*) AS count FROM `TABLE_NAME_OF_LOG_VIEW` WHERE severity IS NOT NULL AND severity = "DEFAULT" GROUP BY hour,severity ORDER BY hour DESC LIMIT 10
Defina a Dimensão para corresponder à coluna que informa a unidade de tempo. Por exemplo, se sua consulta agregar dados por uma hora e criar uma coluna chamada
hour
e defina o menu Dimensão comohour
.Selecione Desativar intervalo porque sua consulta já especifica o intervalo de agregação. No exemplo, o intervalo é de uma hora.
Defina a Medição como a coluna numérica e a função como none
Se você quiser que a Análise de dados de registros faça a agregação baseada em tempo para você, faça o seguinte:
- Configure o seletor de intervalo de tempo, que afeta o número de linhas no resultado da consulta.
- Defina a Dimensão para corresponder à coluna que informa a unidade de tempo.
Por exemplo, defina esse menu como
timestamp
. - Defina o menu Intervalo como o intervalo de agregação como um valor
intervalo. Por exemplo, defina o valor deste campo como
1 hour
. O que não fazer Selecione Intervalo automático. - Defina a Medida como a coluna numérica e selecione uma função como sum.
Mudar dimensão e medição
Para escolher quais linhas e colunas serão exibidas no gráfico, selecione a dimensão e medir os campos.
Dimensão
A dimensão precisa ser uma coluna de carimbo de data/hora, numérica ou de string. Por padrão, a dimensão é definida como à primeira coluna com base em carimbo de data/hora no esquema. Se nenhum carimbo de data/hora estiver presente na consulta, o a primeira coluna de string é selecionada como a dimensão. Também é possível personalizar a dimensão no painel Exibição do gráfico. Quando uma coluna de carimbo de data/hora é selecionada como dimensão, o gráfico mostra como os dados mudam ao longo do tempo.
Por padrão, o intervalo de carimbos de data/hora é definido mas também é possível selecionar um intervalo personalizado. Mudança automática nos intervalos com base no seletor de intervalo de tempo para manter grupos de tamanhos semelhantes.
Você também pode desativar o intervalo, que permite especificar seu próprio agregações e intervalos de tempo na consulta para análises mais complexas. Desativar o intervalo define a função de agregação das medidas para
none
. Somente medidas numéricas são permitidas quando o intervalo de dimensão está desativado.Medida
É possível selecionar várias medidas no painel Exibição do gráfico. Ao selecionar uma medida, também precisa selecionar a função de agregação a ser executada nos valores agrupados, como
count
,sum
,average
epercentile-99
. Por exemplo,count-distinct
retorna o número de valores exclusivos em uma determinada coluna.Se você marcar a caixa de seleção Desativar intervalo para a dimensão, A opção de função de agregação
none
está disponível. Se a dimensão for valor da string, a caixa de seleção Desativar intervalo não será mostrada. No entanto, Definir as funções de agregação de uma medida comonone
também desativa o intervalo.
Adicionar um detalhamento
Para dividir uma única série de dados em várias com base em outra coluna, adicione um detalhamento.
Ao selecionar um detalhamento, escolha colunas que contenham um pequeno
número de rótulos curtos e significativos, como region_name
, em vez de campos
que podem conter um grande número de strings ou strings longas, como
textPayload
.
Por exemplo, veja a configuração do gráfico a seguir, em que Dimension está definido como type, o campo Measure está definido como Count rows e o campo Detalhamento está definido como severity:
O gráfico a seguir é um exemplo com um detalhamento adicionado:
Na captura de tela anterior, há uma série de dados empilhados, em que o recurso
o tipo k8s_container
é dividido em diferentes tipos de severity
. Isso permite que você
identificar quantos registros de cada tipo de gravidade foram gerados por uma
recurso.
Salvar um gráfico em um painel personalizado
Após gerar um gráfico a partir de sua consulta, você pode salvá-lo em um painel personalizado. Os painéis personalizados permitem que você exibir e organizar informações úteis para você usando uma variedade de tipos de widgets específicos. Por exemplo, é possível criar um painel com detalhes sobre o uso dos buckets do Cloud Storage:
Para salvar o gráfico em um painel, faça o seguinte:
-
No console do Google Cloud, acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Execute uma consulta para gerar um gráfico e clique em
Salvar gráfico na guia Gráfico.
Na caixa de diálogo Salvar no dashboard, insira um título para o gráfico e selecione o painel em que você quer salvar o gráfico.
Opcional: para conferir o painel personalizado, no aviso, Clique em Ver painel.
Para acessar uma lista de painéis personalizados que contêm gráficos gerados por em consultas SQL da Análise de dados de registros, clique no botão Salvar gráfico e selecione arrow_drop_down Menu.
Editar um gráfico salvo em um painel personalizado
Para editar gráficos gerados pelas consultas SQL da Análise de dados de registros salvas em um painel de controle, consulte Modificar a configuração de um widget. Na caixa de diálogo Configurar widget, é possível editar a consulta usada para gerar um gráfico ou personalizar a configuração dele para visualizar dados diferentes.
Limitações
Se o projeto do Google Cloud estiver em uma pasta que usa Assured Workloads, os gráficos gerados não poderão ser exibidos em um painel personalizado.
Os filtros no nível do painel não se aplicam a gráficos gerados a partir de uma Consulta SQL da Análise de dados de registros.
Amostras de consultas
Esta seção fornece exemplos de consultas SQL para criar um gráfico com os resultados da sua consulta. Para receber insights mais úteis dos seus registros, personalize a configuração do gráfico. Para usar as consultas de amostra, faça o seguinte:
-
No console do Google Cloud, acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Identifique o nome da tabela da visualização de registros que você quer consultar.
Para identificar esse nome, acesse a lista Visualizações de registros. localize a visualização de registros e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, inclui o nome da tabela da visualização de registro que é consultada. O nome da tabela tem o formato
project_ID.region.bucket_ID.view_ID
.Para mais informações sobre como acessar a consulta padrão, confira Consulte uma visualização de registros.
Substitua TABLE_NAME_OF_LOG_VIEW pelo nome da tabela da visualização de registros. que você quer consultar e copie a consulta.
Cole a consulta no painel Consulta e clique em Executar consulta.
Criar gráficos com as entradas de registro por local e gravidade
A consulta a seguir seleciona location
e severity
, com o local
cast como uma string:
SELECT
CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
severity,
FROM
`TABLE_NAME_OF_LOG_VIEW`
Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:
Na captura de tela anterior, a configuração do gráfico tem o seguinte configuração do gráfico:
- Tipo de gráfico: gráfico de barras, horizontal
- Dimensão:
location
, com um limite de 10 - Medida: contar linhas
- Detalhamento:
severity
, com um limite de cinco
Criar gráficos de registros de auditoria de acesso a dados do BigQuery
Os seguintes filtros de consulta para a auditoria de data_access
do BigQuery
registros e seleciona determinados campos, como user_email
, ip
, auth_permission
,
e job_execution_project
. Por exemplo, é possível criar um gráfico que visualiza
a frequência de uso da API BigQuery de cada principal ao longo do tempo.
SELECT
timestamp,
proto_payload.audit_log.authentication_info.principal_email as user_email,
proto_payload.audit_log.request_metadata.caller_ip as ip,
auth.permission as auth_permission,
auth.granted as auth_granted,
JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE_NAME_OF_LOG_VIEW` as data_access,
UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
log_id="cloudaudit.googleapis.com/data_access"
AND data_access.resource.type = 'bigquery_dataset'
Um exemplo de gráfico e de configuração de gráfico é semelhante ao seguinte:
Na captura de tela anterior, a configuração do gráfico tem o seguinte gráfico configuração:
- Tipo de gráfico: gráfico de barras, vertical
- Dimensão:
user_email
, com um limite de cinco - Medida: contar linhas
- Detalhamento:
auth_permission
, com um limite de cinco
Limitações
As colunas selecionadas precisam ter pelo menos uma linha com um valor não nulo.
Se você salvar uma consulta e personalizar a configuração do gráfico, o modelo a configuração do gráfico não foi salva.
Caso sua consulta já contenha agregações, o gráfico gerado pode estar diferente devido à agregação adicional que é aplicada automaticamente pela Análise de dados de registros.
Os caminhos JSON precisam ser convertidos em strings e números para serem incluídos em um gráfico.
A seguir
Para uma visão geral da Análise de dados de registros, consulte Análise de dados de registros.
Para conferir exemplos de consultas, veja Exemplos de consultas SQL.
Para saber como analisar com registros de auditoria usando Análise de dados de registros, consulte Consultas SQL para insights de segurança.