Este documento descreve como criar um conjunto de dados vinculado a um bucket de registros e como consultar e visualizar registros nesse conjunto. Por exemplo, é possível criar um conjunto de dados vinculado para executar consultas na Análise de dados de registros usando seus slots reservados do BigQuery. Da mesma forma, talvez você queira conjunto de dados vinculado para escrever consultas no BigQuery ou no Looker Studio que mesclam os dados de registro com outros dados da empresa.
Se você não conhece a Análise de dados de registros, confira Visão geral da Análise de dados de registros.
Quando você precisa de um conjunto de dados vinculado
Não é necessário ter um conjunto de dados vinculado do BigQuery para emitir consultas em uma visualização de registro na página Análise de registros. É possível salvar e compartilhar essas consultas e salvar os resultados em um painel personalizado.
Você precisa de um conjunto de dados do BigQuery vinculado quando quiser fazer o seguinte:
- Mesclar os dados de entrada de registro com outros conjuntos de dados do BigQuery.
- Consulte dados de registro de outro serviço, como o Página do BigQuery Studio ou do Looker Studio.
- melhorar o desempenho das consultas executadas na Análise de dados de registros. executando-as no seu Slots reservados do BigQuery
Um conjunto de dados vinculado do BigQuery para um bucket de registros permite Acesso de leitura do BigQuery aos dados subjacentes.
Se você executar consultas em slots reservados do BigQuery, elas estarão sujeitas aos preços de computação de capacidade. Além disso, se você consultar seus dados usando um serviço diferente da Análise de dados de registros, suas consultas podem estar sujeitas a outras com base nesse serviço. Consulte a página de preços do serviço que você está usando.
Antes de começar
Antes de usar o Log Analytics, faça o seguinte:
-
Para receber as permissões necessárias para usar a Análise de dados de registros, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Para consultar os buckets de registro
_Required
e_Default
: Visualizador de registros (roles/logging.viewer
) -
Para consultar todas as visualizações de registro em um projeto:
Acessador de visualização de registros (
roles/logging.viewAccessor
)
É possível restringir um principal a uma visualização de registro específica adicionando uma condição do IAM à concessão de função de acessador de visualização de registros feita no nível do projeto ou adicionando uma vinculação do IAM ao arquivo de política da visualização de registro. Para mais informações, consulte Controlar o acesso a uma visualização de registro.
Essas são as mesmas permissões necessárias para acessar as entradas de registro na página Análise de registros. Para informações sobre outros papéis necessários para consultar visualizações em buckets definidos pelo usuário ou para consultar a visualização
_AllLogs
do_Default
em um bucket de registros, consulte Papéis do Cloud Logging. -
Para consultar os buckets de registro
-
Para ter as permissões necessárias para criar e consultar conjuntos de dados vinculados, peça ao administrador para conceder a você estes papéis do IAM no projeto que armazena o bucket de registros:
-
Para criar e visualizar conjuntos de dados vinculados:
Gravador de configuração de registros (
roles/logging.configWriter
) -
Para executar consultas em conjuntos de dados vinculados usando slots reservados do BigQuery:
-
Usuário do BigQuery (
roles/bigquery.user
) -
Usuário de jobs do BigQuery (
roles/bigquery.jobUser
)
-
Usuário do BigQuery (
-
Para acessar os conjuntos de dados vinculados no BigQuery Studio, conceda todas as funções mencionadas nesta etapa e a seguinte. É possível conceder esse papel a um conjunto de dados ou ao projeto:
Leitor de dados do BigQuery (
roles/bigquery.dataViewer
)
-
Para criar e visualizar conjuntos de dados vinculados:
Gravador de configuração de registros (
Verifique se os buckets de registros foram atualizados para usar a Análise de dados de registros:
-
No console do Google Cloud, acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
- Para cada bucket de registro que tenha uma visualização de registro que você quer consultar, verifique se a coluna Log Analytics disponível mostra Aberto. Se A opção Upgrade aparece, clique em Fazer upgrade e conclua o caixa de diálogo.
-
- Se você quiser consultar seus dados de registro na página Log Analytics usando slots reservados do BigQuery e se estiver usando projetos com controles de serviço de nuvem privada virtual (VPC), verifique se está usando a edição Enterprise do BigQuery. Para mais informações, consulte Noções básicas sobre as edições do BigQuery
Criar um conjunto de dados vinculado do BigQuery
Quando você quiser usar os recursos do BigQuery para analisar dados de registros, fazer upgrade de um bucket de registros para usar a Análise de dados de registros conjunto de dados vinculado. Com essa configuração, O Logging armazena os dados de registro, mas O BigQuery pode ler os dados de registro.
Console do Google Cloud
Para criar um link para um conjunto de dados do BigQuery para um do bucket de registros, faça o seguinte:
-
No console do Google Cloud, acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Localize o bucket de registro e verifique se a coluna Log Analytics disponível mostra Aberto.
Se essa coluna mostrar Upgrade, o bucket de registros não foi atualizado para usar a Análise de registros. Configure a Análise de dados de registros:
- Clique em Fazer upgrade.
- Clique em Confirmar na caixa de diálogo.
Após a conclusão do upgrade, prossiga para a próxima etapa.
No bucket de registros, clique em Maismore_vert. e depois em Editar bucket.
A caixa de diálogo Editar bucket de registro é aberta.
Selecione Criar um novo conjunto de dados do BigQuery vinculado a este bucket e insira o nome do novo conjunto de dados.
O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você inserir o nome de um conjunto de dados existente, este erro será exibido:
Dataset name must be unique in the selected region.
Clique em Concluído e em Atualizar bucket.
Depois que o Logging mostra o nome do conjunto de dados vinculado na página Logs Storage, pode levar alguns minutos até que o BigQuery reconheça o conjunto de dados.
gcloud
Criar um conjunto de dados vinculado para um bucket de registros que recebeu upgrade
usar a Análise de dados de registros, execute
Comando gcloud logging links create
:
gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION
O LINK_ID fornecido é usado como do conjunto de dados do BigQuery, e o valor desse campo deve ser exclusivo para seu projeto do Google Cloud.
O comando links create
é assíncrono. O retorno de uma
método assíncrono é um objeto Operation
e
contém informações sobre o progresso do método. Quando o
método é concluído, o objeto Operation
contém o status. Para mais
informações, consulte Métodos de API assíncrona.
O comando links create
leva alguns minutos para ser concluído.
Por exemplo, o comando a seguir cria um conjunto de dados vinculado para o bucket com o nome my-bucket
:
gcloud logging links create mylink --bucket=my-bucket --location=global
O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você tentar para criar um conjunto de dados com o mesmo nome de um conjunto de dados atual, receberá o seguinte erro:
BigQuery dataset with name "LINK_ID" already exists.
Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não está atualizado para usar a Análise de dados de registros, o seguinte erro será informado:
A link can only be created for an analytics-enabled bucket.
REST
Para criar um conjunto de dados do BigQuery vinculado a um bucket de registros atualizado, use a Análise de dados de registros. Chame o método assíncrono projects.locations.buckets.links.create
da API Cloud Logging.
Prepare os argumentos do método da seguinte maneira:
- Crie o corpo da solicitação para o comando
create
. O corpo da solicitação é formatado como um objetoLink
. - Para o parâmetro de consulta do comando, use
linkId=LINK_ID
: O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para seu projeto do Google Cloud.
A resposta aos métodos assíncronos é um
objeto Operation
. Esse objeto contém
informações sobre o progresso do método. Quando o
método é concluído, o objeto Operation
contém o status. Para mais
mais informações, consulte Métodos de API assíncronos.
O método links.create
leva vários minutos para ser concluído.
O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados existente, o erro a seguir será exibido:
BigQuery dataset with name "LINK_ID" already exists.
Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de dados de registros, o seguinte erro será informado:
A link can only be created for an analytics-enabled bucket.
Executar consultas do BigQuery
Quando você tem um bucket de registros que usa a Análise de dados de registros e conjuntos de dados vinculados, é possível acessar e consultar esses conjuntos na página BigQuery Studio. Com essa configuração, é possível analisar seus conjuntos de dados usando comandos, fluxos de trabalho e conjuntos de dados disponíveis apenas no BigQuery Studio.
Para abrir o BigQuery na Análise de dados de registros e consultar o conjunto de dados vinculado, faça o seguinte:
Verifique se existe um conjunto de dados vinculado para o bucket de registros que hospeda o visualização de registros que você quer consultar:
-
No console do Google Cloud, acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Localize o bucket de registros e verifique se o conjunto de dados vinculado do BigQuery exibe um URL. Se a entrada estiver vazia, crie um conjunto de dados vinculado. Para mais informações sobre essas etapas, consulte Criar um conjunto de dados vinculado do BigQuery.
-
-
No console do Google Cloud, acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Na lista Visualizações de registro, encontre a visualização de registro e selecione Consulta. O O painel Consulta é preenchido com uma consulta padrão. Também é possível inserir uma consulta no painel Consulta ou editar uma consulta exibida.
Na barra de ferramentas, expanda o botão Executar consulta ou Executar no BigQuery e selecionar Abrir no BigQuery.
A página do BigQuery Studio é aberta. O
FROM
da consulta é modificada para especificar o caminho para a visualização de registro na um conjunto de dados vinculado usando Sintaxe do caminho da tabela.Você também pode editar a consulta exibida.
Na página do BigQuery Studio, clique em Executar consulta.
Executar consultas da Análise de Registros nos seus slots reservados do BigQuery
Quando você quiser minimizar o tempo de execução da Análise de registros, execute-a nos slots reservados do BigQuery. A página Análise de dados de registros está pré-configurada para usar o serviço padrão da Análise de dados de registros, o que significa que suas consultas precisam competir pelo espaço limitado do slot com outras consultas. Quando não houver slots disponíveis, a execução da consulta atrasará. É possível eliminar esses atrasos executando consultas em slots reservados do BigQuery.
Para emitir uma consulta SQL para uma visualização de registro, faça o seguinte:
Verifique se existe um conjunto de dados vinculado para o bucket de registros que hospeda o visualização de registros que você quer consultar:
-
No console do Google Cloud, acesse a página Armazenamento de registros:
Acessar o armazenamento de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Localize o bucket de registros e verifique se a coluna Conjunto de dados vinculado do BigQuery mostra um URL. Se a entrada estiver vazia, você deverá criar um conjunto de dados vinculado. Para mais informações sobre essas etapas, consulte Criar um conjunto de dados vinculado do BigQuery.
-
Verifique se você configurou os slots reservados do BigQuery:
Configure a Análise de dados de registros para executar consultas nos seus slots reservados do BigQuery:
-
No console do Google Cloud, acesse a página Análise de dados de registros:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.
Na lista Visualizações de registro, encontre a visualização e selecione Consulta ou insira uma consulta.
Se o painel de consulta exibir uma mensagem de erro que faz referência ao
FROM
, a tabela não poderá ser resolvida em uma visualização de registro específica. Para informações sobre como resolver essa falha, consulte ErroFROM clause must contain exactly one log view
.Acesse a barra de ferramentas e verifique se o botão Run on BigQuery está sendo exibido.
Se a barra de ferramentas mostrar Executar consulta, clique em settings Configurações e selecione BigQuery.
Se o botão Executar no BigQuery estiver desativado, você precisa criar um conjunto de dados vinculado.
Execute a consulta.
Você pode usar as opções da barra de ferramentas para formatar, limpar a consulta e abrir a documentação de referência do SQL do BigQuery.
-
A seguir
- Salvar e compartilhar uma consulta SQL
- Exemplos de consultas SQL
- Gráfico de resultados da consulta SQL