Neste documento, descrevemos como consultar e visualizar registros armazenados em buckets de registros atualizados para usar a Análise de dados de registros. É possível consultar registros nesses buckets usando SQL, que permite filtrar e agregar os registros. Para saber mais sobre os recursos da Análise de dados de registros do Cloud Logging, consulte Visão geral da análise de registros.
Ao fazer upgrade de um bucket de registros para usar a Análise de dados de registros, você não restringe seu acesso à Análise de registros. É possível continuar a solucionar problemas e visualizar entradas de registro individuais nesses buckets usando a Análise de registros.
Para informações sobre como fazer upgrade de um bucket de registros para usar a Análise de dados de registros, consulte os seguintes documentos:
- Crie um bucket de registros e faça upgrade dele para usar a Análise de dados de registros
- Faça upgrade de um bucket para usar a Análise de dados de registros
Antes de começar
Verifique se você tem um bucket de registros com upgrade para usar a Análise de dados de registros. A página Armazenamento de registros lista os buckets de registros e as informações de configuração deles.
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Armazenamento de registros:
-
Para receber as permissões necessárias para carregar a página Análise de registros, executar consultas e visualizar registros, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:
-
Acessar registros:
Visualizador de registros (
roles/logging.viewer
) -
Ver registros em buckets de registros personalizados:
Acessador de visualização de registros (
roles/logging.viewAccessor
)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.
As permissões necessárias para visualizar entradas de registro e executar consultas na página Análise de registros são as mesmas necessárias para visualizar registros na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou a visualização
_AllLogs
do bucket de registros_Default
, consulte Papéis do Cloud Logging. -
Acessar registros:
Visualizador de registros (
-
Para receber as permissões necessárias para visualizar os conjuntos de dados vinculados do BigQuery para buckets de registros, peça ao administrador para conceder a você o papel do IAM Acessador de link de registro (
roles/logging.linkViewer
) no seu projeto.
-
Para receber as permissões necessárias para visualizar seus dados no BigQuery, peça ao administrador para conceder a você os seguintes papéis do IAM no seu projeto:
-
Execute consultas no BigQuery:
Usuário de jobs do BigQuery (
roles/bigquery.jobUser
) -
Ver dados no BigQuery:
Leitor de dados do BigQuery (
roles/bigquery.dataViewer
)
-
Execute consultas no BigQuery:
Usuário de jobs do BigQuery (
Consultar uma visualização de registro
Ao solucionar um problema, é possível contar as entradas de registro com um campo que corresponda a um padrão ou calcular a latência média para solicitação HTTP. Você pode realizar essas ações executando uma consulta SQL em uma visualização de registro.
Para emitir uma consulta SQL para uma visualização, faça o seguinte:
-
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:
Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão, que inclui o nome da tabela consultada.
Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.
Para definir o período da consulta, use o seletor de intervalo de tempo ou adicione uma cláusula
WHERE
que especifique o campotimestamp
. Recomendamos que você use o seletor de período para especificar o período.Se você especificar um carimbo de data/hora na consulta, ele modificará o intervalo de tempo selecionado no seletor de intervalo de tempo e o seletor será desativado. Para usar o seletor de intervalo de tempo, remova as expressões de carimbo de data/hora da cláusula
WHERE
na sua consulta.Na barra de ferramentas, clique em Executar consulta.
A consulta é executada e o resultado é mostrado na guia Resultados.
Use as opções da barra de ferramentas para formatar, limpar a consulta e abrir a documentação de referência do BigQuery SQL.
Exibir o esquema de uma visualização
O esquema de uma visualização de registro define a estrutura e o tipo de dados de cada campo. Essas informações são importantes porque determinam
como você cria as consultas. Por exemplo, suponha que você queira calcular
a latência média das solicitações HTTP. Você precisa saber como acessar o campo de latência e se ele está armazenado como um número inteiro, como 100
, ou como uma string como "100"
. Quando os dados de latência são armazenados como uma string, a consulta precisa converter o valor em um numérico antes de calcular uma média.
Quando o tipo de dados de uma coluna é JSON, o esquema não lista os campos disponíveis para essa coluna. Por exemplo, uma entrada de registro pode ter um
campo com o nome de json_payload
. Quando um bucket de registros é atualizado para usar a Análise de dados de registros, esse campo é mapeado para uma coluna com um tipo de dados JSON.
O esquema não indica os campos filhos da coluna. Ou seja, não é possível usar o esquema para determinar se json_payload.url
é uma referência válida.
Para identificar o esquema de uma visualização, faça o seguinte:
-
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:
Na lista Visualizações de registros, encontre a visualização e selecione o nome dela.
O esquema da tabela é exibido. Use o campo Filtro para localizar campos específicos. Não é possível modificar o esquema.
Salvar uma consulta
Todas as consultas executadas são salvas automaticamente por 30 dias e podem ser acessadas selecionando a guia Recente na página Análise de registros. É possível pesquisar, visualizar, executar e compartilhar as consultas listadas na guia Recentes.
Se quiser manter uma consulta disponível para uso futuro, anote-a com informações úteis ou permita que seus colegas de equipe visualizem e executem sua consulta e, em seguida, salve-a. É possível pesquisar e classificar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível editar e excluir essas consultas. As consultas salvas são mantidas até que você as exclua.
É possível economizar 10.000 consultas por projeto do Google Cloud.
Console
Para salvar uma consulta, faça o seguinte:
-
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:
Preencha o painel Consulta com uma consulta.
Para preencher o painel Consulta, digite uma nova consulta, selecione uma consulta na guia Recentes ou selecione uma consulta na guia Salvo.
Quando a consulta no painel Consulta é válida, o botão Salvar
é ativado.Clique em
Salvar e preencha os campos Nome e Descrição. Os valores definidos para esses campos são mostrados na guia Salvos.Opcional: para permitir que todos com acesso à página da Análise de dados de registros do projeto do Google Cloud visualizem a consulta salva, ative a opção Compartilhar com o projeto.
Por padrão, esse botão fica desativado, e a visibilidade fica restrita a você.
Clique em Salvar consulta.
Opcional: para visualizar, classificar e executar consultas salvas visíveis para você, selecione a guia Salvas.
É possível classificar e filtrar as consultas salvas por nome, descrição e rótulo de visibilidade. Também é possível filtrar pelo conteúdo da consulta.
É possível editar e excluir as consultas criadas usando as opções na guia Salvos:
Para editar uma consulta, clique em more_vert Mais opções e selecione Editar. É possível modificar os valores dos campos Nome e Descrição. No entanto, a consulta em si não pode ser modificada.
Para excluir uma consulta salva, clique em more_vert Mais opções e selecione Excluir.
API
Para salvar uma consulta usando a API Logging, use o
método savedQueries.create
. Para saber mais sobre esse método, os
parâmetros e os dados de resposta, consulte a página de referência de
savedQueries.create
.
É possível executar o método savedQueries.create
usando o widget do APIs Explorer na página de referência do método. Para consultas da Análise de dados de registros, você precisa especificar o campo opsAnalyticsQuery
. O
exemplo a seguir ilustra um corpo de solicitação de amostra, que contém uma
instância de SavedQuery
:
{ "parent": "projects/my-project/locations/global" "saved_query": { "ops_analytics_query": { "sql_query_text" : "SELECT timestamp, log_name, severity, json_payload, resource, labels FROM `TABLE` WHERE timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR) ORDER BY timestamp ASC LIMIT 100" } "visibility": "PRIVATE" } }
Compartilhar uma consulta
Console
Ao solucionar um problema ou caso você veja resultados anômalos, compartilhe uma consulta e os resultados com um colega de equipe. Ao visualizar os resultados da consulta na página Análise de dados de registros, é possível copiar um URL que, quando aberto, exibe a consulta executada e os resultados dela.
Para compartilhar uma consulta e os resultados com um colega de equipe, faça o seguinte:
-
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:
Preencha o painel Consulta com uma consulta e clique em Executar consulta.
Para preencher o painel Consulta, digite uma nova consulta, selecione uma consulta na guia Recentes ou selecione uma consulta na guia Salvo.
Clique em link Compartilhar link.
Envie o link para seu colega de equipe.
Quando seu colega de equipe abrir o link, a página Análise de dados de registros será aberta. Essa página exibe a consulta que você executou e os resultados da consulta.
Para abrir o URL com sucesso, o papel do Identity and Access Management do seu colega de equipe no projeto do Google Cloud precisa incluir as permissões necessárias para visualizar as páginas do Logging.
API
É possível usar a API Logging para criar uma consulta compartilhada usando o método savedQueries.Create
e especificando um valor de SHARED
no campo visibility
.
Consultar e executar consultas recentes ou salvas
Para visualizar ou executar novamente uma consulta, selecione a guia Recente na página Análise de registros e encontre a consulta:
- Para executar a consulta, clique em Executar.
- Para ver a consulta, use as opções no menu more_vert Mais opções.
Para visualizar, editar ou executar uma consulta salva, selecione a guia Salvas na página Análise de dados de registros e encontre a consulta:
- Para executar a consulta, clique em Executar.
- Para editar, visualizar ou excluir a consulta, use as opções no menu more_vert Mais opções.
Consultar registros com o BigQuery
Quando você tem um bucket de registros atualizado para usar a Análise de dados de registros, também é possível visualizar os dados no BigQuery criando um conjunto de dados vinculado do BigQuery. Com essa configuração, é possível usar o BigQuery para mesclar os dados de registro, que podem ser acessados por meio do conjunto de dados vinculado, com outros dados da empresa. Para mais informações sobre como criar um conjunto de dados vinculado, consulte Conceder ao BigQuery acesso de leitura a um bucket de registros.
Para consultar um conjunto de dados vinculado, faça o seguinte:
-
No painel de navegação do console do Google Cloud, selecione Logging e, em seguida, Análise de Registros:
Na lista Visualizações de registros, encontre a visualização e selecione Consulta. O painel Consulta é preenchido com uma consulta padrão.
Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.
Na barra de ferramentas, clique em Executar no BigQuery.
A página do BigQuery Studio é aberta. A instrução
FROM
da consulta é modificada para especificar o caminho para a visualização no conjunto de dados vinculado usando a sintaxe do caminho da tabela do BigQuery.Também é possível editar a consulta exibida.
Clique em Executar consulta.
A seguir
- Exemplos de consultas
- Crie um bucket de registros e faça upgrade dele para usar a Análise de dados de registros
- Faça upgrade de um bucket para usar a Análise de dados de registros
- Criar um conjunto de dados vinculado