Configurar buckets de registros

Este documento descreve como criar e gerenciar buckets do Cloud Logging usando o console do Google Cloud, a CLI do Google Cloud e a API Logging. Ele também dá instruções para criar e gerenciar buckets de registro na para envolvidos no projeto do Google Cloud. Não é possível criar buckets de registros ou da organização, No entanto, o Cloud Logging cria automaticamente buckets de registro _Default e _Required nos níveis da pasta e da organização para para você.

É possível fazer upgrade dos buckets de registros para usar a Análise de dados de registros. Com a Análise de dados de registros, você executa consultas SQL nos dados de registro, resolver problemas de aplicativos, segurança e rede.

Para usar o BigQuery para analisar seus dados de registro, você tem duas opções:

• Faça upgrade de um bucket de registro para usar a Análise de dados de registros e crie um conjunto de dados vinculado do BigQuery. Nesse cenário, o Logging armazena seus dados de registro, mas o BigQuery pode ler esses dados.

• Exporte as entradas de registro para o BigQuery. Nesse cenário, você precisa criar um coletor. O BigQuery armazena e gerencia os dados, e você tem a opção de usar tabelas particionadas.

Quando os dados de registro estão disponíveis para o BigQuery, é possível mesclar esses dados com outros dados armazenados no BigQuery e acessá-los em outras ferramentas, como o Looker Studio e o Looker.

Para uma visão geral conceitual dos buckets, consulte Visão geral de roteamento e armazenamento: buckets de registros.

Este documento não descreve como criar um bucket de registros que usa um chave de criptografia gerenciada pelo cliente (CMEK). Se você tiver interesse nesse assunto, em seguida, consulte Configure a CMEK para armazenamento de registros.

Antes de começar

Para começar a usar buckets, faça o seguinte:

• Configure seu projeto do Google Cloud:

  1. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  2. Para receber as permissões necessárias para criar, atualizar e vincular um bucket de registro, peça ao administrador para conceder a você o papel do IAM de Gravador de configuração de registros (roles/logging/configWriter) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

     Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

     Para conferir a lista completa de permissões e papéis, consulte Controle de acesso com o IAM.

  3. Opcional: para usar o BigQuery para conferir os dados armazenados em um bucket de registros, faça o seguinte:
     1. Verifique se a API BigQuery está ativada. Você podemos verificar se a API foi ativada pela listar os serviços disponíveis.
     2. Seu papel do Identity and Access Management inclui as permissões para criar um conjunto de dados vinculado. Para mais informações, consulte Permissões para conjuntos de dados do BigQuery vinculados.
• Entenda as regiões com suporte em que é possível armazenar registros.

• Select the tab for how you plan to use the samples on this page:

  Console

  When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

  gcloud

  In the Google Cloud console, activate Cloud Shell.

  Activate Cloud Shell

  At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  REST

  Para usar as amostras da API REST nesta página em um ambiente de desenvolvimento local, use as credenciais fornecidas para gcloud CLI.

  Install the Google Cloud CLI, then initialize it by running the following command:

  gcloud init

  Para mais informações, consulte Autenticar para usar REST na documentação de autenticação do Google Cloud.

• Se você planeja usar a CLI do Google Cloud ou a API Cloud Logging para criar ou gerenciar seus buckets de registro, entenda os requisitos de formatação do LogBucket.

Criar um bucket

É possível criar no máximo 100 buckets por projeto do Google Cloud.

Para criar um bucket de registro definido pelo usuário para seu projeto do Google Cloud, faça o seguinte:

Console do Google Cloud

Para criar um bucket de registros no seu projeto do Google Cloud, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Clique em Criar bucket de registros.

3. Insira um Nome e uma Descrição para o bucket.

4. Opcional: faça upgrade do bucket para usar a Análise de dados de registros.

   Observação: depois que um bucket de registros é atualizado para usar a Análise de dados de registros, não é possível reconfigurar o bucket para mudar ou remover o uso da Análise de dados de registros.

   1. Selecione Fazer upgrade para usar a Análise de registros.

      Ao fazer upgrade de um bucket para usar a Análise de registros, é possível consultar os registros na página Análise de registros usando consultas SQL. Você pode continuar acessando seus registros na Análise de registros.

   2. Opcional: para exibir seus registros no BigQuery, selecione Crie um novo conjunto de dados do BigQuery vinculado a esse bucket e dê um nome exclusivo para o conjunto de dados.

      Quando você seleciona essa opção, o BigQuery pode ler dados armazenados no bucket de registros. Agora é possível consultar o interface do BigQuery, onde é possível mesclar dados de registros, e acessar dados de outras ferramentas, como o Looker Studio e o Looker.

5. Opcional: para selecionar a região de armazenamento dos registros, clique no menu Selecionar região do bucket de registros e selecione uma região. Se você não selecionar uma região, a região global será usada, o que significa que os registros poderão estar localizados fisicamente em qualquer região com suporte.

   Observação: depois de criar o bucket de registros, não será possível alterar a região. Se você precisar de um bucket em outra região, crie um um novo bucket nessa região, redirecionar os coletores apropriados para o novo bucket e, em seguida, exclua o bucket antigo.

6. Opcional: para definir um período de retenção personalizado para o registros no bucket, clique em Próxima.

   No campo Período de retenção, digite o número de dias entre 1 dia e 3.650 dias, você quer que o Cloud Logging para manter os registros. Se você não personalizar o período de retenção, o padrão será 30 days.

   Também é possível atualizar o bucket para aplicar a retenção personalizada após a criação.

7. Clique em Criar bucket.

   Depois que o bucket de registros é criado, o Logging faz upgrade bucket e cria o link do conjunto de dados, caso essas opções tenham sido selecionadas.

   Pode levar alguns instantes para essas etapas serem concluídas.

gcloud

Observação :não é possível criar um conjunto de dados vinculado do BigQuery ao criar no bucket de registros, a menos que você use o console do Google Cloud. No entanto, se você criar e atualizar um bucket de registro, poderá usar o método de comando gcloud logging links create para criar um conjunto de dados vinculado.

Para criar apenas um bucket de registros, execute o comando gcloud logging buckets create. Se você quiser fazer upgrade do bucket de registros para usar a Análise de registros, inclua as flags --enable-analytics e --async e defina a variável LOCATION para uma região com suporte:

gcloud logging buckets create BUCKET_ID --location=LOCATION --enable-analytics --async OPTIONAL_FLAGS

A flag --async força para que o comando seja assíncrono. O retorno de um método assíncrono é um objeto Operation, que contém informações sobre o andamento do método. Quando o é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

Se você não quiser fazer upgrade do bucket de registros para usar a Análise de registros, omita as flags --enable-analytics e --async.

Por exemplo, se você quiser criar um bucket com a my-bucket BUCKET_ID na região global, seu comando será semelhante ao seguinte:

gcloud logging buckets create my-bucket --location global --description "My first bucket"

Por exemplo, para criar um bucket com o BUCKET_ID my-upgraded-bucket no local global, e, em seguida, atualizar o bucket de registros para usar a Análise de dados de registros, o comando será semelhante a este:

gcloud logging buckets create my-upgraded-bucket --location global \
      --description "My first upgraded bucket" \
      --enable-analytics --retention-days=45

Observação: depois de criar o bucket de registros, não será possível alterar a região. Se você precisar de um bucket em uma região diferente, crie um novo bucket nessa região, redirecione os coletores apropriados para o novo bucket e exclua o bucket antigo

REST

Observação :não é possível criar um conjunto de dados vinculado do BigQuery como parte da operação de criação, a menos que você use o console do Google Cloud. No entanto, se você criar e atualizar um bucket de registro, poderá usar o método projects.locations.buckets.links.create para criar um conjunto de dados vinculado.

Para criar um bucket, use o método projects.locations.buckets.create ou o projects.locations.buckets.createAsync. Prepare os argumentos do método da seguinte maneira:

1. Defina o parâmetro parent como o recurso em que Para criar o bucket: projects/PROJECT_ID/locations/LOCATION

   A variável LOCATION refere-se à região em que você quer que seus registros sejam armazenados.

   Por exemplo, se você quiser criar um bucket para o projeto my-project em na região global, o parâmetro parent ficaria assim isso: projects/my-project/locations/global

2. Defina o parâmetro bucketId, por exemplo, my-bucket.

3. Realize uma das seguintes ações:

   • Para criar um bucket de registros e depois fazer upgrade dele para uso Análise de dados de registros:

     1. Defina o booleano LogBucket.analyticsEnabled como true.

        Observação: depois que um bucket de registros é atualizado para usar a Análise de registros, não é possível reconfigurar o bucket para mudar ou remover o uso da Análise de registros.

     2. Chame o método assíncrono projects.locations.buckets.createAsync para criar o bucket.

        A resposta aos métodos assíncronos é uma Objeto Operation. Este objeto contém informações sobre o progresso do método. Quando o método for concluído, o objeto Operation vai conter o status. Para mais informações, consulte Métodos de API assíncrona.

        O método createAsync leva vários minutos para ser concluído. Esse método não gera uma mensagem de erro ou falha quando o booleano analyticsEnabled está definido como true.

   • Caso contrário, chame o método síncrono projects.locations.buckets.create para criar o bucket.

Depois de criar um bucket, crie um coletor para rotear as entradas de registro para o bucket e configurar visualizações de registros; para controlar quem pode acessar os registros no bucket novo e quais são acessíveis a eles. Também é possível atualizar o bucket para configurar a retenção personalizada e os campos restritos.

Rastrear o volume de registros armazenados em buckets de registros

A página Armazenamento de registros no console do Google Cloud monitora o volume dados de registros armazenados em buckets de registros:

No console do Google Cloud, acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

A página Armazenamento de registros exibe um resumo das estatísticas das suas Projeto do Google Cloud:

As seguintes estatísticas são informadas:

• Ingestão do mês atual: a quantidade de dados de registros que o projeto do Google Cloud armazenou em buckets de registro desde o primeiro dia do mês atual.

• Ingestão do mês anterior: a quantidade de dados de registros que seu Projeto do Google Cloud armazenado em buckets de registros no último mês.

• Ingestão prevista por EOM: a quantidade estimada de dados de registros que seu projeto do Google Cloud vai armazenar em buckets de registro até o final do mês atual, com base no uso atual.

• Armazenamento faturável do mês atual: a quantidade de dados de registros que foi retida por mais de 30 dias e que é faturada.

As estatísticas anteriores não incluem registros no bucket _Required. Não é possível excluir ou desativar os registros nesse bucket.

A página Roteador de registros no console do Google Cloud oferece ferramentas pode ser usado para minimizar as cobranças pelo armazenamento de registros em buckets de registros ou pelo armazenamento que exceder a cota mensal. Faça o seguinte:

• Desative o armazenamento de registros no nível do bucket.
• Exclua determinadas entradas de registro do armazenamento em buckets de registro.

Para mais informações, consulte Gerenciar coletores.

Gerenciar buckets

Esta seção descreve como gerenciar seus buckets de registro usando a CLI do Google Cloud ou o console do Google Cloud.

Atualizar um bucket

Para atualizar as propriedades do bucket, como descrição ou período de armazenamento, faça o seguinte:

Console do Google Cloud

Para atualizar as propriedades do bucket, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No bucket que você quer atualizar, clique em Mais.

3. Selecione Editar bucket.

4. Edite o bucket conforme necessário.

5. Clique em Atualizar bucket.

gcloud

Para atualizar as propriedades do bucket, execute o comando Comando gcloud logging buckets update:

gcloud logging buckets update BUCKET_ID --location=LOCATION UPDATED_ATTRIBUTES

Exemplo:

gcloud logging buckets update my-bucket --location=global --description "Updated description"

REST

Para atualizar as propriedades do bucket, use projects.locations.buckets.patch na API Logging.

Fazer upgrade de um bucket para usar a Análise de dados de registros

Observação: depois que um bucket de registros é atualizado para usar a Análise de dados de registros, não é possível reconfigurar o bucket para mudar ou remover o uso da Análise de dados de registros. Somente as entradas de registro gravadas após a conclusão do upgrade estão disponíveis para a Análise de registros.

Para fazer upgrade de um bucket atual para usar a Análise de dados de registros, faça o seguinte: restrições são aplicáveis:

• O bucket de registro foi criado no nível do projeto do Google Cloud.
• O bucket de registro está desbloqueado, a menos que seja o bucket _Required.

• Não há atualizações pendentes no bucket.

Console do Google Cloud

Para fazer upgrade de um bucket atual para usar a Análise de dados de registros, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Localize o bucket que você quer atualizar.

3. Quando a coluna Análise de registros disponível mostra Upgrade, é possível fazer upgrade do bucket de registros para usar a Análise de registros. Clique em Fazer upgrade.

   Uma caixa de diálogo será aberta. Clique em Confirmar.

gcloud

Para fazer upgrade do bucket de registros para usar a Análise de dados de registros, execute o Comando gcloud logging buckets update. Você deve Definir o --enable-analytics Além disso, recomendamos que você também inclua o parâmetro Sinalização --async:

gcloud logging buckets update BUCKET_ID --location=LOCATION --enable-analytics --async

A flag --async força o comando a ser assíncrono. O retorno de um método assíncrono é um objeto Operation e contém informações sobre o andamento do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

Observação: não atualize nenhuma outra propriedade de um bucket de registro ao fazer upgrade para usar a Análise de dados de registros. Por exemplo, uma chamada para o comando update que muda o período de retenção e atualiza o bucket de registro falha.

REST

Para fazer o upgrade de um bucket de registros para usar a Análise de dados de registros, use o projects.locations.buckets.updateAsync método da API Cloud Logging.

Prepare os argumentos do método da seguinte maneira:

1. Defina o booleano LogBucket.analyticsEnabled como true.
2. Para o parâmetro de consulta do comando, use updateMask=analyticsEnabled:

A resposta aos métodos assíncronos é um objeto Operation. Este objeto contém informações sobre o progresso do método. Quando o método é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncronos.

A updateAsync pode levar alguns minutos para ser concluída.

Criar um conjunto de dados vinculado do BigQuery

Quando você quiser usar os recursos do BigQuery para analisar dados de registros, fazer upgrade de um bucket de registros para usar a Análise de dados de registros conjunto de dados vinculado. Com essa configuração, O Logging armazena os dados de registro, mas O BigQuery pode ler os dados de registro.

Observação :um bucket de registros pode ser vinculado a no máximo um conjunto de dados do BigQuery.

Console do Google Cloud

Para criar um link para um conjunto de dados do BigQuery para um do bucket de registros, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Localize o bucket de registro e verifique se a coluna Log Analytics disponível mostra Aberto.

   Se a coluna exibir Upgrade, significa que o bucket de registros não foi para usar a Análise de dados de registros. Configure a Análise de dados de registros:

   1. Clique em Fazer upgrade.
   2. Clique em Confirmar na caixa de diálogo.

   Após a conclusão do upgrade, prossiga para a próxima etapa.

3. No bucket de registros, clique em Mais. e depois em Editar bucket.

   A caixa de diálogo Editar bucket de registros é aberta.

4. Selecione Criar um novo conjunto de dados do BigQuery vinculado a este bucket e dê um nome a ele.

   O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você inserir o nome de um conjunto de dados existente, este erro será exibido: Dataset name must be unique in the selected region.

5. Clique em Concluído e em Atualizar bucket.

   Depois que o Logging exibe o nome do conjunto de dados vinculado na Armazenamento de registros, pode levar alguns minutos O BigQuery reconhece o conjunto de dados.

gcloud

Criar um conjunto de dados vinculado para um bucket de registros que recebeu upgrade usar a Análise de dados de registros, execute Comando gcloud logging links create:

gcloud logging links create LINK_ID --bucket=BUCKET_ID --location=LOCATION

O LINK_ID fornecido é usado como do conjunto de dados do BigQuery, e o valor desse campo deve ser exclusivo para seu projeto do Google Cloud.

O comando links create é assíncrono. O retorno de uma método assíncrono é um objeto Operation e contém informações sobre o progresso do método. Quando o é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

O comando links create leva vários minutos para ser concluído.

Por exemplo, o comando a seguir cria um conjunto de dados vinculado para a bucket com o nome my-bucket:

gcloud logging links create mylink --bucket=my-bucket --location=global

O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados existente, o erro a seguir será exibido:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não está atualizado para usar a Análise de dados de registros, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

REST

Para criar um conjunto de dados do BigQuery vinculado a um bucket de registros atualizado, use a Análise de dados de registros. Chame o método assíncrono projects.locations.buckets.links.create da API Cloud Logging.

Prepare os argumentos do método da seguinte maneira:

1. Crie o corpo da solicitação para o comando create. O corpo da solicitação é formatado como um objeto Link.
2. Para o parâmetro de consulta do comando, use linkId=LINK_ID. O LINK_ID fornecido é usado como o nome do conjunto de dados do BigQuery, e o valor desse campo precisa ser exclusivo para seu projeto do Google Cloud.

A resposta aos métodos assíncronos é um objeto Operation. Este objeto contém informações sobre o progresso do método. Quando o é concluído, o objeto Operation contém o status. Para mais informações, consulte Métodos de API assíncrona.

O método links.create leva alguns minutos para ser concluído.

O nome do conjunto de dados precisa ser exclusivo para cada projeto do Google Cloud. Se você tentar criar um conjunto de dados com o mesmo nome de um conjunto de dados existente, o seguinte erro será exibido:

BigQuery dataset with name "LINK_ID" already exists.

Se você tentar criar um conjunto de dados vinculado para um bucket de registros que não foi atualizado para usar a Análise de dados de registros, o seguinte erro será informado:

A link can only be created for an analytics-enabled bucket.

Bloquear um bucket

Aviso: o bloqueio de um bucket de registro é irreversível.

Ao bloquear um bucket contra atualizações, você também bloqueia e a política de retenção. Depois que uma política de retenção é bloqueada, não é possível excluir o até que todas as entrada de registro no bucket tenham cumprido o requisito de retenção período

Para impedir que alguém atualize ou exclua um bucket de registros, bloqueie-o. Para bloquear o bucket, faça o seguinte:

Console do Google Cloud

O console do Google Cloud não é compatível com o bloqueio de um bucket de registros.

gcloud

Para bloquear seu bucket, execute o comando gcloud logging buckets update com a flag --locked:

gcloud logging buckets update BUCKET_ID --location=LOCATION --locked

Exemplo:

gcloud logging buckets update my-bucket --location=global --locked

REST

Para bloquear os atributos do bucket, use projects.locations.buckets.patch na API Logging. Defina o parâmetro locked como true.

Listar buckets

Para listar os buckets de registros associados a um projeto do Google Cloud e conferir detalhes, como as configurações de retenção, faça o seguinte:

Console do Google Cloud

No console do Google Cloud, acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

Uma tabela chamada Buckets de registros lista os buckets associados aos projeto do Google Cloud.

A tabela lista os seguintes atributos para cada bucket de registro:

• Nome: o nome do bucket de registro.
• Descrição: a descrição do bucket.
• Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
• Região: a localização geográfica em que os dados do bucket são armazenados.
• Status: indica se o bucket está bloqueado ou desbloqueado.

Se um bucket estiver pendente de exclusão pelo Cloud Logging, a entrada da tabela será anotada com um símbolo de aviso .

gcloud

Execute o comando gcloud logging buckets list:

gcloud logging buckets list

Você verá os seguintes atributos dos buckets de registro:

• LOCATION: a região em que os dados do bucket são armazenados.
• BUCKET_ID: o nome do bucket de registros.
• RETENTION_DAYS: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
• LIFECYCLE_STATE: indica se o bucket está exclusão pendente pelo Cloud Logging.
• LOCKED: se o bucket está bloqueado ou desbloqueado.
• CREATE_TIME: um carimbo de data/hora que indica quando o bucket foi criado.
• UPDATE_TIME: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

Também é possível visualizar os atributos de apenas um bucket. Por exemplo, para conferir os detalhes do bucket de registro _Default na região global, execute o comando gcloud logging buckets describe:

gcloud logging buckets describe _Default --location=global

REST

Para listar os buckets de registros associados a um projeto do Google Cloud, use projects.locations.buckets.list na API Logging.

Ver os detalhes de um intervalo

Para ver os detalhes de um único bucket de registro, faça o seguinte:

Console do Google Cloud

No console do Google Cloud, acesse a página Armazenamento de registros:

Acessar o armazenamento de registros

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

No bucket de registros, clique em Mais e Selecione Ver detalhes do bucket.

A caixa de diálogo lista os seguintes atributos do bucket de registros:

• Nome: o nome do bucket de registro.
• Descrição: a descrição do bucket de registro.
• Período de armazenamento: o número de dias em que os dados do bucket são armazenados pelo Cloud Logging.
• Região: a localização geográfica em que os dados do bucket são armazenados.

• Análise de dados de registros: indica se o bucket recebeu upgrade para uso a Análise de dados de registros.
• Análise do BigQuery: indica se um O conjunto de dados do BigQuery está vinculado ao seu bucket.
• Conjunto de dados do BigQuery: fornece um link para seu conjunto de dados do BigQuery, que é aberto na página BigQuery Studio. A data em que a vinculação do BigQuery foi ativada também é mostrada.

gcloud

Execute o comando gcloud logging buckets describe.

Por exemplo, o comando a seguir informa os detalhes do _Default. bucket:

gcloud logging buckets describe _Default --location=global

Você vai encontrar os seguintes atributos no bucket de registro:

• createTime: um carimbo de data/hora que indica quando o bucket foi criado.
• description: a descrição do bucket de registro.
• lifecycleState: indica se o bucket está exclusão pendente pelo Cloud Logging.
• name: o nome do bucket de registro.
• retentionDays: o número de dias em que os dados do bucket serão armazenados pelo Cloud Logging.
• updateTime: um carimbo de data/hora que indica quando o bucket foi modificado pela última vez.

REST

Para conferir os detalhes de um único bucket de registros, use projects.locations.buckets.get na API Logging.

Excluir um bucket

Para excluir um bucket de registro, faça o seguinte:

Console do Google Cloud

Para excluir um bucket de registro, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Localize o bucket que você quer excluir e clique em Mais.

3. Se a coluna Conjunto de dados vinculado no BigQuery mostrar um link, exclua o conjunto de dados vinculado do BigQuery:

   1. Clique em Editar bucket.

   2. Desmarque Criar um novo conjunto de dados do BigQuery vinculado a este bucket, clique em Concluído e clique em Atualizar bucket.

      Depois de retornar à página Armazenamento de registros, clique em Mais para o bucket que você quer excluir e prossiga para as próximas etapas.

4. Selecione Excluir bucket.

5. No painel de confirmação, clique em Excluir.

6. Na página Armazenamento de registros, o bucket tem um indicador mostrando que a exclusão está pendente. O bucket e todos os registros contidos nele são excluídos após sete dias.

gcloud

Para excluir um bucket de registros, execute o Comando gcloud logging buckets delete:

gcloud logging buckets delete BUCKET_ID --location=LOCATION

Não é possível excluir um bucket de registros quando esse bucket tem Conjunto de dados do BigQuery:

• Para listar os links associados a um bucket de registros, execute o comando gcloud logging links list.
• Para excluir um conjunto de dados vinculado, execute o comando gcloud logging links delete.

REST

Para excluir um bucket, use projects.locations.buckets.delete na API Logging.

É um erro excluir um bucket de registro se ele tiver um conjunto de dados do BigQuery vinculado. É necessário excluir o conjunto de dados vinculado antes excluindo o bucket de registros:

• Para listar os links associados a um bucket de registro, execute o método projects.locations.buckets.links.list.
• Para excluir um conjunto de dados vinculado, execute o projects.locations.buckets.links.delete .

Um bucket excluído permanece nesse estado pendente por sete dias, e o Logging continua a rotear registros para ele durante esse período. Para interromper o roteamento de registros para um bucket excluído, exclua os coletores de registro que têm esse bucket como destino ou modifique o filtro dos coletores para interromper o roteamento para o bucket excluído.

Não é possível criar um novo bucket de registros com o mesmo nome de um bucket excluído que está em estado pendente.

Observação: os buckets com exclusão pendente são contabilizados no cota de buckets por projeto do Google Cloud até eles serão totalmente excluídos.

Restaurar um bucket excluído

É possível restaurar ou cancelar a exclusão de um bucket que esteja no estado de exclusão pendente. Para restaurar um bucket de registro, faça o seguinte:

Console do Google Cloud

Para restaurar um bucket de registro com exclusão pendente, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Para o bucket que você quer restaurar, Clique em Mais e selecione Restaurar bucket excluído.

3. No painel de confirmação, clique em Restaurar.

4. Na página Armazenamento de registros, o indicador de exclusão pendente é removido. do bucket de registros.

gcloud

Para restaurar um bucket de registros com exclusão pendente, execute o Comando gcloud logging buckets undelete:

gcloud logging buckets undelete BUCKET_ID --location=LOCATION

REST

Para restaurar um bucket com exclusão pendente, use projects.locations.buckets.undelete na API Logging.

Alerta sobre bytes de registro mensais armazenados em buckets de registro

Para criar uma política de alertas, na página Logs Storage no console do Google Cloud, clique em Criar alerta de uso. Isso abre a página Criar política de alertas no Monitoring. e preenche o campo de tipo de métrica com logging.googleapis.com/billing/bytes_ingested

Para criar uma política de alertas que seja acionada quando o número de bytes de registro gravados nos buckets de registro exceder o limite definido pelo usuário para o Cloud Logging, use as seguintes configurações.

Etapas para criar uma política de alertas.

Para criar uma política de alertas, siga estas etapas:

1. No Console do Google Cloud, acesse a página  Alertas:

   Acessar Alertas

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Se você não tiver criado seus canais de notificação e quiser receber uma notificação, clique em Editar canais de notificação e adicione-os. Volte para a página Alertas depois de adicionar seus canais.
3. Na página Alertas, clique em Criar política.
4. Para selecionar o recurso, a métrica e os filtros, expanda o menu Selecionar uma métrica e use os valores na tabela Nova condição:
   1. (Opcional) Para limitar o menu a entradas relevantes, insira o nome do recurso ou da métrica na barra de filtro.
   2. Selecione um Tipo de recurso. Por exemplo, selecione Instância de VM.
   3. Selecione uma Categoria de métrica. Por exemplo, selecione instância.
   4. Selecione uma Métrica. Por exemplo, selecione CPU Utilization.
   5. Selecione Apply.
5. Clique em Avançar e configure o acionador da política de alertas. Para preencher esses campos, use os valores na tabela Configurar gatilho de alerta.
6. Clique em Próxima.

7. Opcional: para adicionar notificações à sua política de alertas, clique em Canais de notificação. Na caixa de diálogo, selecione um ou mais canais de notificação no menu e clique em OK.

   (Opcional) Para receber uma notificação quando os incidentes forem abertos ou fechados, marque Notificar sobre o fechamento de incidentes. Por padrão, as notificações são enviadas apenas quando incidentes são abertos.

8. Opcional: Atualize a Duração do fechamento automático do incidente. Este campo determina quando o Monitoring fecha incidentes na ausência de dados de métrica.
9. Opcional: clique em Documentação e adicione as informações que quer incluir em uma mensagem de notificação.
10. Clique em Nome e digite um nome para a política de alertas.
11. Clique em Criar política.

Novo estado Campo	Valor
Recurso e métrica	No menu Recursos, selecione Global. No menu Categorias de métrica, selecione Métrica com base em registros. No menu Métricas, selecione Bytes de registro mensais ingeridos.
Filtrar	Nenhuma.
Várias séries Agregação de série temporal	sum
Janela contínua	60 m
Função de janela contínua	max

Campo Configurar gatilho de alerta	Valor
Tipo de condição	Threshold
Acionador de alerta	Any time series violates
Posição do limite	Above threshold
Valor do limite	Você determina o valor aceitável.
Teste a janela novamente	O valor mínimo aceitável é de 30 minutos.

Para mais informações sobre políticas de alertas, consulte Informações gerais sobre alertas.

Gravar em um bucket

Os registros não são gravados diretamente em um bucket de registros. Em vez disso, você grava registros Recurso do Google Cloud: um projeto, uma pasta ou uma organização do Google Cloud. Os coletores no recurso pai então roteiam os registros para destinos, incluindo buckets de registro. Um coletor encaminha registros para um destino de bucket de registro quando os registros correspondem ao filtro do coletor e o coletor tem permissão para rotear os registros para o bucket de registros.

Ler em um bucket

Cada bucket de registros tem um conjunto de visualizações. Para ler registros de um bucket de registro, é preciso ter acesso a uma visualização no bucket. As visualizações de registros permitem conceder acesso a apenas um subconjunto dos registros armazenados em um bucket de registros. Para informações sobre como configurar visualizações de registros e como conceder acesso a elas, consulte Configurar visualizações de registros em um bucket de registros.

Para ler registros de um bucket de registro, faça o seguinte:

Console do Google Cloud

1. No console do Google Cloud, acesse a página Análise de registros:

   Acessar a Análise de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. Para personalizar quais registros são exibidos no Explorador de registros, clique em Refinar escopo e selecione uma opção. Por exemplo: é possível visualizar os registros armazenados em um projeto ou por visualização de registro.

3. Clique em Aplicar. O painel Resultados da consulta é recarregado com registros que correspondem a opção selecionada.

Para mais informações, consulte Visão geral da Análise de registros: refinar o escopo

gcloud

Para ler registros de um bucket de registros, use o o comando gcloud logging read e adicionar uma LOG_FILTER para selecionar dados:

gcloud logging read LOG_FILTER --bucket=BUCKET_ID --location=LOCATION --view=VIEW_ID

REST

Para ler registros de um bucket de registro, use o método entries.list. Defina resourceNames para especificar o bucket e a visualização de registro adequados e defina filter para selecionar dados.

Para informações detalhadas sobre a sintaxe de filtragem, consulte Linguagem de consulta do Logging.

Configurar retenção personalizada

Observação: eficaz 1o de abril de 2023, custos de retenção se aplicam a dados de registros retidos por mais tempo período de armazenamento padrão de ao bucket _Default e aos buckets de registro definidos pelo usuário. Para mais detalhes sobre os preços, consulte Resumo de preços do Cloud Logging. Para analisar o armazenamento faturável de seus buckets de registros, acesse a página Armazenamento de registros do console do Google Cloud.

Ao criar um bucket de registro, você tem a opção de personalizar o período de armazenamento dos registros do bucket pelo Cloud Logging. É possível configurar o período de armazenamento de qualquer bucket de registros definido pelo usuário para o bucket de registros _Default.

Se você encurtar a retenção do bucket, haverá um período de carência de sete dias em que os registros expirados não serão excluídos. Não é possível consultar nem visualizar esses registros expirados, mas, nesses sete dias, é possível restaurar o acesso completo estendendo a retenção do bucket. Os registros armazenados durante o período de carência são contabilizados nos seus custos de retenção.

Para atualizar o período de armazenamento de um bucket de registro, siga estas etapas:

Console do Google Cloud

Para atualizar o período de armazenamento de um bucket de registro, faça o seguinte:

1. No console do Google Cloud, acesse a página Armazenamento de registros:

   Acessar o armazenamento de registros

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Logging.

2. No bucket que você quer atualizar, Clique em Mais e selecione Editar bucket.

3. No campo Retenção, insira o número de dias, entre 1 e 3650 dias, que você quer que o Cloud Logging armazene seus registros.

4. Clique em Atualizar bucket. A nova duração de retenção aparece na lista Bucket de registros.

gcloud

Para atualizar o período de armazenamento de um bucket de registros, execute o comando gcloud logging buckets update, depois de definir um valor para RETENTION_DAYS:

gcloud logging buckets update BUCKET_ID  --location=LOCATION --retention-days=RETENTION_DAYS

Por exemplo, para reter os registros no bucket _Default na global por um ano, o comando vai ficar assim:

gcloud logging buckets update _Default --location=global --retention-days=365

Se você prolongar o período de armazenamento de um bucket, as regras de retenção serão aplicadas a partir de agora, não retroativamente. Não é possível recuperar os registros após o término do período de armazenamento aplicável.

Métodos de API assíncronos

A resposta de um método assíncrono como projects.locations.buckets.createAsync é um objeto Operation.

Os aplicativos que chamam um método de API assíncrono precisam pesquisar o endpoint operation.get até que o valor do campo Operation.done seja true:

• Quando done é false, a operação está em andamento.

  Para atualizar as informações de status, envie uma solicitação GET para o endpoint operation.get.

• Quando done é true, a operação é concluída e o campo error ou response está definido:

  • error: quando definida, a operação assíncrona falha. O valor desse campo é um objeto Status que contém um código de erro gRPC e uma mensagem de erro.
  • response: quando definido, a operação assíncrona é concluída e o valor reflete o resultado.

Para consultar um comando assíncrono usando a CLI do Google Cloud, execute o seguinte comando:

gcloud logging operations describe OPERATION_ID --location=LOCATION --project=PROJECT_ID

Para ver mais informações, consulte gcloud logging operations describe.

Resolver problemas comuns

Se você tiver problemas ao usar buckets de registros, consulte as etapas de solução de problemas e respostas a perguntas comuns a seguir.

Por que não consigo excluir esse bucket?

Se você estiver tentando excluir um bucket, faça o seguinte:

• Verifique se você tem as permissões corretas para excluir o bucket. Para o lista de permissões necessárias, consulte Controle de acesso com o IAM.

• Determine se o bucket está bloqueado listando os atributos do bucket. Se o bucket estiver bloqueado, verifique o período de armazenamento do bucket. Não é possível excluir um bucket bloqueado até que todos os registros nele tenham cumprido o período de armazenamento.

• Verifique se o bucket de registros não tem um conjunto de dados do BigQuery vinculado. Não é possível excluir um bucket de registros com um conjunto de dados vinculado.

  O erro a seguir é mostrado em resposta a um comando delete em um bucket de registro que tem um conjunto de dados vinculado:

  FAILED_PRECONDITION: This bucket is used for advanced analytics and has an active link. The link must be deleted first before deleting the bucket
  

  Para listar os links associados a um bucket de registros, execute o comando gcloud logging links list ou execute o projects.locations.buckets.links.list Método de API.

Quais contas de serviço estão roteando registros para meu bucket?

Para determinar se alguma conta de serviço tem permissões de IAM para rotear registros para o bucket, faça o seguinte:

1. No console do Google Cloud, abra a página IAM.

   Acesse o IAM

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo IAM e administrador.

2. Na guia Permissões, visualize por Papéis. Há uma tabela com todos os os papéis e principais do IAM associados à sua projeto do Google Cloud.

3. No campoFiltro caixa de texto, digiteGravador de bucket de registros.

   Você verá todos os principais com o papel de Gravador de bucket de registros. Se um principal for uma conta de serviço, o ID conterá a string gserviceaccount.com.

4. Opcional: se você quiser impedir que uma conta de serviço roteie registros no seu projeto do Google Cloud, selecione caixa de seleção da conta de serviço e clique em Remover.

Por que vejo registros de um projeto do Google Cloud mesmo após excluí-los do meu coletor _Default?

Talvez você esteja visualizando registros em um bucket de registros projeto centralizado do Google Cloud, que agrega registros de toda a organização.

Se você estiver usando o Explorador de registros para acessar esses registros e conferir os registros que você excluiu do coletor _Default, talvez sua visualização esteja definida no nível do projeto do Google Cloud.

Para corrigir esse problema, selecione Visualização de registro no menu Refinar escopo e, em seguida, selecione a visualização de registro associada ao bucket _Default no seu projeto do Google Cloud. Você não verá mais os registros excluídos.

A seguir

Para mais informações sobre os métodos da API Logs Bucket, consulte a documentação de referência de LogBucket.

Se você gerencia uma organização ou uma pasta, é possível especificar o local os buckets de registro _Default e _Required dos recursos filhos. Você também pode configure se os buckets de registros usam a CMEK e o comportamento Coletor de registros _Default. Para mais informações, consulte [Definir configurações padrão para organizações e pastas][default-settings].

Para informações sobre como lidar com casos de uso comuns com buckets de registro, consulte os tópicos a seguir:

• [Agregue e armazene os registros da sua organização][central-log-storage].

• Geração de registros de vários locatários no GKE.

• Regionalizar os registros.