Configurar buckets de registro para armazenar registros

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Neste documento, descrevemos como criar e gerenciar buckets do Cloud Logging usando o Console do Google Cloud, a Google Cloud CLI e a API Logging. Também são fornecidas instruções para criar e gerenciar buckets de registros no nível do projeto do Cloud, mas também é possível criar buckets de registros no nível da pasta e da organização.

É possível fazer upgrade de buckets de registros para usar o Log Analytics. A análise de registros permite executar consultas SQL nos dados de registros, o que ajuda a resolver problemas de segurança e rede. Também é possível usar o BigQuery para visualizar os dados armazenados em um bucket de registros quando ele for atualizado para usar a Análise de registro e quando um conjunto de dados vinculado existir. A criação de um conjunto de dados vinculado permite mesclar os dados do registro com outros dados armazenados no BigQuery e acessar dados de outras ferramentas, como Data Studio e Looker.

Para uma visão geral conceitual dos buckets, consulte Visão geral de roteamento e armazenamento: buckets de registros.

Antes de começar

Para começar a usar buckets, faça o seguinte:

  • Verifique se você ativou o faturamento para o projeto do Google Cloud.

  • Verifique se o papel do Identity and Access Management (IAM) concede as permissões necessárias para criar, fazer upgrade e vincular buckets.

    O papel de gravador de configuração de registros (roles/logging.configWriter) é o papel mínimo predefinido que concede as permissões necessárias para gerenciar os buckets. Para ver a lista completa de permissões e papéis, consulte Controle de acesso com o IAM.

  • Entenda os requisitos de formatação do LogBucket, incluindo as regiões compatíveis em que você pode armazenar seus registros.

  • Considere definir um local de recurso padrão para aplicar uma região de armazenamento padrão para os buckets _Required e _Default na sua organização.

  • Para usar o BigQuery para visualizar os dados armazenados em um bucket de registros, faça o seguinte:

Crie um bucket

É possível criar no máximo 100 buckets por projeto do Cloud.

Para criar um bucket de registros definido pelo usuário para seu projeto do Cloud, faça o seguinte:

Console do Google Cloud

Para criar um bucket de registro no seu projeto do Cloud, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. Clique em Criar bucket de registros.

  3. Insira um Nome e uma Descrição para o bucket.

  4. Opcional: se você não estiver usando o perímetros de serviço, faça upgrade do bucket para usar a análise de registros.

    1. Selecione Fazer upgrade para usar a análise de registros.

      Quando você faz upgrade de um bucket para usar a análise de registros, pode consultar os registros na página Análise de registros com as consultas SQL. Também é possível continuar vendo seus registros usando o Explorador de registros.

      A região é definida automaticamente como global, e o período de retenção é definido como o valor padrão. Essas configurações não podem ser modificadas.

    2. Opcional: para ver os registros no BigQuery, selecione Criar um conjunto de dados vinculado no BigQuery e insira um nome exclusivo.

      Quando você seleciona essa opção, o BigQuery pode ler os dados armazenados no bucket de registros. Agora é possível fazer consultas na interface do BigQuery, onde é possível mesclar os dados de registros e acessar dados de outras ferramentas, como o Data Studio e o Looker.

  5. Opcional: para selecionar a região de armazenamento dos registros, clique no menu Selecionar região do bucket de registros e selecione uma região. Se você não selecionar uma região, a região global será usada, o que significa que os registros poderão ser localizados fisicamente em qualquer uma das regiões.

    Não é possível definir a região para buckets de registro que recebem upgrade para usar a análise de registros.

  6. Opcional: para definir um período de retenção personalizada para os registros no bucket, clique em Próxima.

    Se você definir um período de armazenamento personalizado para seu bucket de registros e quiser fazer upgrade para usar a análise de registros, altere o período de armazenamento para o valor padrão.

    No campo Retenção, insira o número de dias, entre 1 e 3650 dias, que você quer que o Cloud Logging armazene seus registros. Se você não personalizar o período de retenção, o padrão será 30 days.

    Também é possível atualizar o bucket para aplicar retenção personalizada depois de criá-lo.

  7. Clique em Criar bucket.

    Após a criação do bucket de registros, o Logging fará upgrade do bucket e criará o link do conjunto de dados, se essas opções estiverem selecionadas.

    Talvez leve algum tempo para que essas etapas sejam concluídas.

gcloud

Para criar um bucket de registro no seu projeto do Cloud, execute o comando gcloud logging buckets create:

gcloud logging buckets create BUCKET_ID --location=LOCATION OPTIONAL_FLAGS

A variável LOCATION refere-se à região em que você quer que seus registros sejam armazenados.

Por exemplo, se você quiser criar um bucket com a my-bucket BUCKET_ID na região asia-east2, seu comando será semelhante ao seguinte:

gcloud logging buckets create my-bucket --location asia-east2 --description "My first bucket"

API

Para criar um bucket, use projects.locations.buckets.create na API Logging. Prepare os argumentos do método da seguinte maneira:

  1. Defina o parâmetro parent como o recurso em que o bucket será criado: projects/PROJECT_ID/locations/LOCATION

    A variável LOCATION refere-se à região em que você quer que seus registros sejam armazenados.

    Por exemplo, se você quiser criar um bucket para o projeto my-project na região asia-east2, o parâmetro parent será o seguinte: projects/my-project/locations/asia-east2

  2. Defina o parâmetro bucketId, por exemplo, my-bucket.

  3. Chame projects.locations.buckets.create para criar o bucket.

Depois de criar um bucket, crie um coletor para encaminhar entradas de registro para seu bucket e configure as visualizações de registro para controlar quem pode acessar os registros no bucket novo e quais registros são acessíveis a eles. Também é possível atualizar o bucket para configurar retenção personalizada, campos restritos ou configurações de CMEK.

Ingestão do registro de rastreamento

A página Armazenamento de registros no Console do Google Cloud rastreia o volume de dados de registros ingeridos por buckets de registros.

Para rastrear a ingestão de dados de registros do projeto do Cloud, acesse a página Armazenamento de registros no console:

Acessar o armazenamento de registros

A página Armazenamento de registros exibe um resumo das estatísticas do projeto do Cloud:

O relatório de estatísticas de resumo registra valores de ingestão de dados para o projeto selecionado no momento.

As seguintes estatísticas são informadas:

  • Volume total atual: a quantidade de dados de registros que o projeto do Cloud ingeriu desde o primeiro dia do mês atual.

  • Volume de meses anterior: a quantidade de dados de registros que seu projeto do Cloud processou no último mês.

  • Volume projetado por EOM: a quantidade estimada de dados de registros que seu projeto do Cloud ingerirá até o final do mês atual, com base no uso atual.

As estatísticas de volume de ingestão de registros não incluem o bucket _Required. Não é possível excluir ou desativar os registros nesse bucket.

A página Roteador de registros no Console do Google Cloud oferece ferramentas que podem ser usadas para minimizar as cobranças de ingestão ou armazenamento de registros que excedam a cota mensal. Faça o seguinte:

  • Desativar a ingestão de registros no nível do bucket.
  • Exclua determinadas entradas de registro do processamento no Logging.

Para mais informações, consulte Gerenciar coletores.

Gerenciar buckets

Nesta seção, descrevemos como gerenciar buckets de registro usando a Google Cloud CLI ou o Console do Google Cloud.

Atualizar um bucket

Para atualizar as propriedades do bucket, como a descrição ou o período de retenção, faça o seguinte:

Console do Google Cloud

Para atualizar as propriedades do bucket, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. No bucket que você quer atualizar, clique em Mais.

  3. Selecione Editar bucket.

  4. Edite o bucket conforme necessário.

  5. Clique em Atualizar bucket.

gcloud

Para atualizar as propriedades do bucket, execute o comando gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemplo:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

API

Para atualizar as propriedades do bucket, use projects.locations.buckets.patch na API Logging.

Fazer upgrade de um bucket para usar a Análise de registros

Para fazer upgrade de um bucket atual e usar a análise de registros, as seguintes restrições são aplicadas:

Console do Google Cloud

Para fazer upgrade de um bucket atual e usar a análise de registros, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. Localize o bucket que você quer atualizar.

  3. Quando a coluna Análise de registros disponível exibir Fazer upgrade, será possível fazer upgrade do bucket de registros para usar a análise de registros. Clique em Fazer upgrade.

    para abrir a caixa de diálogo. Clique em Confirmar.

gcloud

Para fazer upgrade de um bucket de registros para usar a análise de registros, use o Console do Google Cloud.

API

Para fazer upgrade de um bucket de registros para usar a análise de registros, use o Console do Google Cloud.

Quando quiser usar os recursos do BigQuery para analisar os dados de registro, faça upgrade do bucket de registros para usar a análise de registros e crie um conjunto de dados vinculado. Com essa configuração, é possível usar o BigQuery para ler os registros armazenados no bucket de registros.

Console do Google Cloud

Para criar um link para um conjunto de dados do BigQuery para um bucket de registro atual, faça o seguinte:

  1. Leia a seção Antes de começar deste documento.

  2. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  3. Localize o bucket de registros e verifique se a coluna Log Analytics disponível exibe Abrir.

    Se a coluna exibir Upgrade, o bucket de registros não foi atualizado para usar a análise de registros. Configurar a análise de registros:

    1. Clique em Fazer upgrade.
    2. Clique em Confirmar na caixa de diálogo.

    Depois que o upgrade for concluído, prossiga para a próxima etapa.

  4. No bucket de registros, clique em Mais e, depois, em Editar bucket.

    A caixa de diálogo Editar bucket de registros é aberta.

  5. Selecione Criar um conjunto de dados vinculado no BigQuery.

  6. Insira um nome de conjunto de dados exclusivo, clique em Concluído e, em seguida, em Atualizar bucket.

    Depois que o Logging exibir o nome do conjunto de dados vinculado na página Armazenamento de registros, pode levar vários minutos para que o BigQuery reconheça o conjunto de dados.

gcloud

Para criar um conjunto de dados vinculado, use o Console do Google Cloud.

API

Para criar um conjunto de dados vinculado, use o Console do Google Cloud.

Bloquear um bucket

Quando você bloqueia um bucket contra atualizações, isso inclui o bloqueio da política de armazenamento do bucket. Depois que uma política de armazenamento estiver bloqueada, você não poderá excluir o bucket até que todos os registros nele atendam ao período de armazenamento.

Para impedir que alguém atualize ou exclua um bucket de registros, bloqueie-o. Para bloquear o bucket, faça o seguinte:

Console do Google Cloud

O Console do Google Cloud não é compatível com o bloqueio de um bucket de registros.

gcloud

Para bloquear seu bucket, execute o comando gcloud logging buckets update com a sinalização --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemplo:

gcloud logging buckets update my-bucket --location=global --locked

API

Para bloquear os atributos do bucket, use projects.locations.buckets.patch na API Logging. Defina o parâmetro locked como true.

Listar buckets

Para listar os buckets de registros associados a um projeto do Cloud e ver detalhes, como as configurações de retenção, faça o seguinte:

Console do Google Cloud

Acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

A tabela Buckets de registro lista os buckets associados ao projeto atual do Cloud.

A tabela lista os seguintes atributos para cada bucket de registro:

  • Nome: o nome dado ao bucket quando ele foi criado.
  • Descrição: a descrição fornecida ao bucket quando ele foi criado.
  • Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
  • Região: a localização geográfica em que os dados do bucket são armazenados.
  • Status: indica se o bucket está bloqueado ou desbloqueado.

Se um bucket estiver pendente de exclusão pelo Cloud Logging, a entrada da tabela será anotada com um aviso .

gcloud

Execute o comando gcloud logging buckets list:

gcloud logging buckets list

Você verá os seguintes atributos dos buckets de registro:

  • LOCATION: a região em que os dados do bucket são armazenados.
  • BUCKET_ID: o nome dado ao bucket quando ele foi criado.
  • RETENTION_DAYS: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
  • LIFECYCLE_STATE: indica se o bucket está exclusão pendente pelo Cloud Logging.
  • LOCKED: se o bucket está bloqueado ou desbloqueado.
  • CREATE_TIME: um carimbo de data/hora que indica quando o bucket foi criado.
  • UPDATE_TIME: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

Também é possível visualizar os atributos de apenas um bucket. Por exemplo, para ver os detalhes do bucket de registro _Default na região "global", execute o comando gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

API

Para listar os buckets de registro associados a um projeto do Cloud, use projects.locations.buckets.list na API Logging.

Ver os detalhes de um intervalo

Para ver os detalhes de um único bucket de registro, faça o seguinte:

Console do Google Cloud

Acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

No bucket de registro, clique em Mais > Ver detalhes do bucket.

A caixa de diálogo lista os seguintes atributos para o bucket de registro:

  • Nome: o nome dado ao bucket quando ele foi criado.
  • Descrição: a descrição fornecida ao bucket quando ele foi criado.
  • Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
  • Região: a localização geográfica em que os dados do bucket são armazenados.
  • Análise de registros: indica se é feito o upgrade do bucket para usar a Análise de registros.
  • Análise do BigQuery: indica se um conjunto de dados do BigQuery está vinculado ao seu bucket.
  • Conjunto de dados do BigQuery: oferece um link para o conjunto de dados do BigQuery, que é aberto na página Espaço de trabalho SQL do BigQuery. A data em que a vinculação com o BigQuery foi ativada também é mostrada.

gcloud

Execute o comando gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

Você vai ver os seguintes atributos para o bucket de registros:

  • createTime: um carimbo de data/hora que indica quando o bucket foi criado.
  • description: a descrição fornecida ao bucket quando ele foi criado.
  • lifecycleState: indica se o bucket está exclusão pendente pelo Cloud Logging.
  • name: o nome dado ao bucket quando ele foi criado.
  • retentionDays: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
  • updateTime: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

API

Para ver os detalhes de um único bucket de registros, use projects.locations.buckets.get na API Logging.

Excluir um bucket

Para excluir um bucket de registro, faça o seguinte:

Console do Google Cloud

Para excluir um bucket de registro, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. Localize o bucket que você quer excluir e clique em Mais.

  3. Se a coluna Conjunto de dados vinculado no BigQuery exibir um link, exclua o conjunto de dados vinculado do BigQuery:

    1. Clique em Editar bucket.

    2. Desmarque Criar um conjunto de dados vinculado no BigQuery, clique em Concluído e, em seguida, clique em Atualizar bucket.

      Depois de voltar para a página Armazenamento de registros, clique em Mais no bucket que você quer excluir e siga para as próximas etapas.

  4. Selecione Excluir bucket.

  5. No painel de confirmação, clique em Excluir.

  6. Na página Armazenamento de registros, o bucket tem um indicador mostrando que a exclusão está pendente. O bucket e todos os registros contidos nele são excluídos após sete dias.

gcloud

Para excluir um bucket de registro, execute o comando gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

API

Para excluir um bucket, use projects.locations.buckets.delete na API Logging.

Um bucket excluído permanece nesse estado pendente por sete dias, e o Logging continua a rotear registros para ele durante esse período. Para interromper o roteamento de registros para um bucket excluído, exclua os coletores de registro que têm esse bucket como destino ou modifique o filtro dos coletores para interromper o roteamento para o bucket excluído.

Restaurar um bucket excluído

É possível restaurar ou cancelar a exclusão de um bucket que esteja no estado de exclusão pendente. Para restaurar um bucket de registro, faça o seguinte:

Console do Google Cloud

Para restaurar um bucket de registros com exclusão pendente, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. No bucket que você quer restaurar, clique em Mais .

  3. Selecione Restaurar bucket excluído.

  4. No painel de confirmação, clique em Restaurar.

  5. Na página Armazenamento de registros, o indicador de exclusão pendente é removido do bucket.

gcloud

Para restaurar um bucket de registro com exclusão pendente, execute o comando gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

API

Para restaurar um bucket com exclusão pendente, use projects.locations.buckets.undelete na API Logging.

Gravar em um bucket

Os registros não são gravados diretamente em um bucket de registros. Em vez disso, grave registros no recurso do Google Cloud: um projeto, uma pasta ou uma organização do Cloud. Os coletores no recurso pai então roteiam os registros para destinos, incluindo buckets de registro. Um coletor encaminha registros para um destino de bucket de registro quando os registros correspondem ao filtro do coletor e o coletor tem permissão para rotear os registros para o bucket de registros.

Ler em um bucket

Cada bucket de registros tem um conjunto de visualizações. Para ler registros de um bucket de registro, é preciso ter acesso a uma visualização no bucket. Para mais informações sobre visualizações de registros, consulte Como gerenciar visualizações de registros.

Para ler registros de um bucket de registro, faça o seguinte:

Console do Google Cloud

É possível refinar o escopo dos registros exibidos no Explorador de registros por meio do painel Refinar escopo. É possível pesquisar apenas os registros do projeto atual do Cloud ou os registros de pesquisa em uma ou mais visualizações de armazenamento. Para refinar o escopo do Explorador de registros, faça o seguinte:

  1. No menu do Logging, selecione Explorador de registros.

    Acessar o Explorador de registros

  2. Selecione Refinar escopo.

  3. No painel Refinar escopo, selecione uma opção Escopo por.

  4. Selecione Escopo por armazenamento e escolha um ou mais buckets que você quer ver.

    O console lista as visualizações de armazenamento que atendem às seguintes condições:

    • Você tem acesso à visualização de armazenamento.
    • Os buckets de registro pertencem ao projeto do Cloud selecionado, ou o projeto do Cloud selecionado já roteou registros para os buckets de armazenamento.

gcloud

Para ler registros de um bucket de registros, use o comando gcloud logging read e adicione um LOG_FILTER para selecionar dados:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

API

Para ler registros de um bucket de registros, use o método Entries.list. Defina resourceNames para especificar o bucket e a visualização de registros apropriados e defina filter para selecionar dados.

Para informações detalhadas sobre a sintaxe de filtragem, consulte Linguagem de consulta do Logging.

Configurar retenção personalizada

Ao criar um bucket de registro, você tem a opção de personalizar o período de armazenamento dos registros do bucket pelo Cloud Logging. É possível configurar o período de armazenamento para qualquer bucket de registro definido pelo usuário e também para o bucket de registro _Default. Se você definir um período de armazenamento personalizado para seu bucket de registros e quiser fazer upgrade para usar a análise de registros, altere o período de armazenamento para o valor padrão.

Se você diminuir a retenção do bucket, haverá um período de carência de sete dias em que os registros expirados não serão excluídos. Não é possível consultar ou ver esses registros expirados, mas, nesses sete dias, você poderá restaurar o acesso total estendendo a retenção do bucket. Os registros armazenados durante o período de carência são contabilizados nos custos de armazenamento.

Para atualizar o período de armazenamento de um bucket de registro, siga estas etapas:

Console do Google Cloud

Para atualizar o período de armazenamento de um bucket de registros, faça o seguinte:

  1. No menu do Logging, selecione Armazenamento de registros.

    Acessar o armazenamento de registros

  2. No bucket que você quer atualizar, clique em Mais .

  3. Selecione Editar bucket.

  4. No campo Retenção, insira o número de dias, entre 1 e 3650 dias, que você quer que o Cloud Logging armazene seus registros.

  5. Clique em Atualizar bucket. A nova duração de retenção aparece na lista Bucket de registros.

gcloud

Para atualizar o período de armazenamento de um bucket de registro, execute o comando gcloud logging buckets update, depois de definir um valor para RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Por exemplo, para manter os registros no bucket _Default no local "global" por um ano, seu comando seria semelhante ao seguinte:

gcloud logging buckets update _Default --location=global --retention-days=365

Se você prolongar o período de armazenamento de um bucket, as regras de retenção serão aplicadas a partir de agora, não retroativamente. Não é possível recuperar os registros após o término do período de armazenamento aplicável.

Resolver problemas comuns

Se você tiver problemas ao usar buckets de registros, consulte as etapas de solução de problemas e respostas a perguntas comuns a seguir.

Por que não consigo excluir esse bucket?

Se você estiver tentando excluir um bucket, faça o seguinte:

  • Verifique se você tem as permissões corretas para excluir o bucket. Para ver a lista de permissões necessárias, consulte o Guia de controle de acesso.

  • Determine se o bucket está bloqueado listando os atributos do bucket. Se o bucket estiver bloqueado, verifique o período de armazenamento do bucket. Não é possível excluir um bucket bloqueado até que todos os registros nele tenham cumprido o período de armazenamento.

Quais contas de serviço estão roteando registros para meu bucket?

Para determinar se alguma conta de serviço tem permissões de IAM para rotear registros para o bucket, faça o seguinte:

  1. Acesse a página "Gerenciamento de identidade e acesso" do projeto do Cloud que contém o bucket:

    Acessar IAM

  2. Na guia Permissões, visualize por Papéis. Você verá uma tabela com todos os papéis e principais de IAM associados ao projeto do Cloud.

  3. No campoFiltro caixa de texto, digiteGravador de bucket de registros.

    Você verá todos os principais com o papel de Gravador de bucket de registros. Se um principal for uma conta de serviço, o ID conterá a string gserviceaccount.com.

  4. Opcional: se quiser remover uma conta de serviço para poder rotear registros para o projeto do Cloud, marque a caixa de seleção ao lado dela e clique em Remover.

Por que vejo registros de um projeto do Cloud mesmo após excluí-los do meu coletor _Default?

É possível visualizar registros em um bucket de registros em um projeto centralizado do Cloud, que agrega registros de toda a organização.

Se você estiver usando o Explorador de registros para acessar esses registros e ver os registros excluídos do coletor _Default, talvez sua visualização tenha o escopo definido para o nível do projeto do Cloud.

Para corrigir esse problema, selecione Escopo por armazenamento no painel Refinar escopo e, em seguida, selecione o bucket _Default no projeto do Cloud. Você não verá mais os registros excluídos.

Por que não consigo criar métricas com base em registros para um bucket?

As métricas com base em registros se aplicam apenas a um único projeto do Google Cloud. Não é possível criá-los para buckets de registro ou para outros recursos do Google Cloud, como pastas ou organizações.

A seguir

Para mais informações sobre os métodos da API Logs Bucket, consulte a documentação de referência de LogBucket.

Para informações sobre como lidar com casos de uso comuns com buckets de registro, consulte os tópicos a seguir: