Apresentação da exclusão reversível do Cloud Storage

A exclusão reversível oferece proteção no nível do bucket contra exclusão acidental ou maliciosa ao reter objetos excluídos recentemente por um período de retenção escolhido (sete dias por padrão), que pode ser aumentado para até 90 dias ou desativado completamente. Usando um recurso de restauração de autoatendimento, é possível se recuperar desses eventos infelizes depois que eles ocorrerem.

Normalmente, não é possível desfazer a exclusão de um objeto. No entanto, quando a exclusão reversível está ativada, os objetos excluídos entram em um estado de exclusão reversível, do qual eles ainda podem ser restaurados. Isso vai ocorrer independente do motivo da exclusão, ou seja, se um objeto foi excluído pela API de exclusão, substituído pela API de inserção/cópia/regravação, excluído na interface ou devido a uma política do gerenciamento do ciclo de vida de objeto.

Os objetos excluídos de maneira reversível são objetos especiais não legíveis que estão ocultos nas listagens de objetos, a menos que uma opção específica seja especificada. Os objetos excluídos de maneira reversível são excluídos permanentemente após a retenção durante o período especificado. Quando eles entram em um estado de exclusão reversível, esse período não pode ser substituído (não há como excluir permanentemente um objeto excluído de maneira reversível prematuramente). Isso oferece um nível significativo de proteção contra eventos de exclusão acidental e maliciosa.

As restaurações copiam um ou mais objetos excluídos de maneira reversível de volta para o mesmo bucket do qual foram excluídos, tornando-os acessíveis novamente como objetos ativos. Execute uma restauração síncrona fornecendo uma lista específica de objetos ou execute uma operação assíncrona de longa duração que restaura todos os objetos excluídos entre dois carimbos de data/hora. Como objetos recém-criados, os objetos restaurados têm novas datas de criação. Quando a classe automática está em uso, a vida útil de todos os objetos restaurados é reiniciada na classe de armazenamento Padrão. Caso contrário, os objetos restaurados serão criados na mesma classe de armazenamento em que estavam quando foram excluídos.

É importante definir o tempo de retenção da exclusão reversível por tempo suficiente para poder detectar e concluir uma restauração no caso de um evento de exclusão arrependido. A uma taxa de restauração aproximada de 10 milhões de objetos por hora, pode levar quatro dias para restaurar um bilhão de objetos. Por isso, é aconselhável aumentar o período de armazenamento para mais de sete dias para buckets muito grandes.

A exclusão reversível também oferece proteção contra eventos de exclusão no nível do bucket. No caso de uma exclusão no nível do bucket, primeiro entre em contato com o Google para receber ajuda com a recriação do bucket excluído. É possível usar o recurso de restauração para restaurar os objetos nesse bucket.

A exclusão reversível está em um período promocional que vai do lançamento em março de 2024 até 31 de agosto de 2024,, sem custo extra pelo armazenamento dos primeiros sete dias de dados excluídos de maneira reversível. A partir de 1o de setembro de 2024 , vamos começar a cobrar o uso dos SKUs de armazenamento atuais com os preços atuais por todo o tempo gasto em objetos no estado de exclusão reversível desde a exclusão. Como a exclusão reversível retém os dados por sete dias por padrão, desative essa opção antes de 25 de agosto de 2024 para evitar qualquer impacto na cobrança.

Antes de 1o de setembro de 2024, a exclusão reversível não vai afetar a cobrança, a menos que você faça uma restauração e/ou aumente o tempo de retenção desse recurso nos seus buckets. A ideia é dar a você um tempo razoável para avaliar o impacto futuro do faturamento gerado pelo recurso de exclusão reversível e tomar decisões informadas sobre as melhores configurações de exclusão reversível a serem usadas nos seus buckets com base no orçamento e nas necessidades comerciais.

Como todo o uso de exclusão reversível será cobrado das SKUs atuais, os descontos existentes continuarão sendo aplicados às cobranças decorrentes do recurso de exclusão reversível.

A partir de 1o de setembro de 2024, a exceção de faturamento documentada do Gerenciamento do ciclo de vida de objetos para exclusões com apenas uma condição de idade não será mais válida para buckets com a exclusão reversível ativada, de acordo com o controle de versões dos objetos.

O principal impacto na cobrança resultante da exclusão reversível será uma cobrança mensal adicional de armazenamento pelo uso associado aos dados excluídos de maneira reversível. Quando um objeto for excluído de maneira reversível, continuaremos a cobrar o uso das SKUs de armazenamento existentes com base no local e na classe de armazenamento até o final do período de retenção dessa exclusão. Por exemplo, um objeto de classe de armazenamento Standard em us-east4 seria cobrado pela SKU de classe de armazenamento padrão us-east4 enquanto for um objeto ativo e, então, continuaria a ser cobrado na mesma taxa em relação à mesma SKU após ser excluído de forma reversível, até tiver concluído o período de armazenamento de exclusão reversível (sete dias, por padrão).

Como mencionado acima, durante o período promocional que vai do lançamento até 31 de agosto de 2024, não haverá cobrança extra pelo armazenamento dos primeiros sete dias de dados excluídos de maneira reversível.

O tempo que os objetos passam no estado de exclusão reversível é contabilizado em qualquer duração mínima de armazenamento aplicável com base na classe de armazenamento e no status da classe automática. Isso é uma vantagem, porque será mais fácil atender às durações mínimas de armazenamento e evitar cobranças de exclusão antecipada quando a exclusão reversível estiver ativada. Por exemplo, a classe de armazenamento Nearline tem uma duração mínima de armazenamento de 30 dias em buckets que não usam a classe automática. Excluir um objeto após 23 dias sem a exclusão reversível incorreria em sete dias de cobranças de exclusão antecipada. Com a exclusão reversível ativada para o padrão de sete dias, o objeto será cobrado por 30 dias de armazenamento, incluindo o período de exclusão reversível. Portanto, nenhuma cobrança de exclusão antecipada seria aplicada.

Não há cobranças de processamento por GiB para a realização de uma restauração. Isso inclui não cobrar taxas de recuperação ao restaurar objetos Nearline, Coldline ou Archive.

A cobrança principal por ações associadas às restaurações são das operações de classe A associadas ao tipo de local do bucket. Para restaurações síncronas em que você fornece uma lista de objetos específicos a serem restaurados, vamos medir uma operação de classe A para cada objeto restaurado. Isso sempre será cobrado como uma operação padrão de classe A, independentemente da classe de armazenamento real do objeto, porque não queremos penalizar as restaurações de objetos mais frios. Para restaurações assíncronas em que primeiro precisamos determinar quais objetos restaurar, também cobramos uma operação padrão de classe A por mil objetos verificados antes de iniciar a restauração.

Como a restauração cria um novo objeto ativo com uma nova data de criação no bucket, esse novo objeto será cobrado normalmente depois de criado pelo processo de restauração, e todos os requisitos normais de preços e duração do armazenamento serão aplicados ao novo objeto. Vamos continuar cobrando pelas versões excluídas de maneira reversível desses objetos restaurados, embora normalmente haja apenas alguns dias de sobreposição com base no período de armazenamento padrão de exclusão reversível de sete dias.

O Google decidiu ativar a exclusão reversível por padrão porque acreditamos que esse é um recurso de alto valor que vai beneficiar a maioria dos clientes e que, na maioria dos casos, terá um impacto modesto no faturamento. No entanto, é possível que você decida que a política de retenção de exclusão reversível de sete dias não é adequada para alguns ou todos os buckets do Cloud Storage. Antes de 25 de agosto de 2024, desative a exclusão reversível em todos os buckets em que você não precisa dessa proteção, por exemplo, em buckets com uma grande quantidade de dados temporários de curta duração. Por outro lado, você também pode optar por aumentar o período de armazenamento de sete dias para até 90 dias em intervalos em que é necessário ter mais proteção para dados críticos para os negócios.

Além das informações abaixo, consulte a postagem do blog Como gerenciar a exclusão reversível do Cloud Storage em escala para conhecer as práticas recomendadas e os exemplos de scripts que ajudam a avaliar a adequação da exclusão reversível dos seus buckets e automatizar as configurações. Esta postagem também mostra como modificar as configurações de exclusão reversível nos modelos do Terraform.

Estamos melhorando as métricas de armazenamento do Cloud Monitoring para que você possa analisar a quantidade de bytes atuais, não atuais e excluídos de forma reversível em qualquer bucket.

Nos buckets em que a exclusão reversível já está ativada, a maneira mais fácil de inspecionar o impacto sobre o faturamento desse recurso é examinar a métrica storage/v2/total_bytes, que fornece o tamanho total de todos os objetos no bucket, agrupado por classe de armazenamento e tipo de objeto (ativo, não atual, excluído de forma reversível) no fim do último dia de uso. Se você comparar a porcentagem de bytes excluídos de maneira reversível com o total, poderá obter uma estimativa muito boa do impacto dessa exclusão nas cobranças mensais de armazenamento, desde que as exclusões sejam realizadas a uma taxa relativamente estável, de modo que sejam capturadas por esta métrica).

Também adicionamos a nova métrica storage/v2/deleted_bytes, que fornece uma contagem delta de bytes excluídos por bucket, agrupados por classe de armazenamento. Mesmo que a exclusão reversível esteja desativada, é possível comparar sua taxa de exclusão usando essa métrica com a métrica total_bytes para estimar o impacto no faturamento da exclusão reversível em um bucket específico.

Exemplos:

• Para calcular o impacto absoluto no faturamento das exclusões reversíveis, use a métrica storage/v2/deleted_bytes, que mede o número de bytes excluídos ao longo do tempo. O custo absoluto da exclusão reversível pode ser calculado da seguinte forma: duração da retenção da exclusão reversível × bytes excluídos × $/GiB por mês. Por exemplo, o custo de ativar uma política de exclusão reversível de sete dias em um bucket em us-central1 no armazenamento padrão com 100.000 GB de exclusões ao longo do ano é 7 / 30.4375 × 100.000 × US$ 0,02 = US$ 459,96 (em que: 30,4375 é o número médio de dias por mês).
• Para calcular o custo relativo da exclusão reversível, combine a métrica storage/v2/deleted_bytes à métrica storage/v2/total_byte_seconds: duração da retenção da exclusão reversível × bytes excluídos / total de bytes. Continuando com o exemplo acima e considerando 1.000.000 GB de armazenamento por mês durante todo o ano, o custo relativo da ativação da exclusão reversível nesse caso é: 7 / 30,4375 × 100.000 / 1.000.000 = impacto de aproximadamente 2%.

Para aqueles que usam o controle de versões de objetos, estamos expondo os bytes e as contagens de objetos ativos e não atuais como parte das novas métricas, que são uma nova visibilidade que pode ser útil até mesmo para aqueles que optaram por não permitir a exclusão reversível.

Todas as informações sobre as métricas aprimoradas vão estar disponíveis na documentação de métricas de armazenamento assim que as novas métricas estiverem disponíveis.

O período de armazenamento da exclusão reversível pode ser ajustado para cada bucket individualmente. Para desativar a exclusão reversível, mude o período de retenção para zero. Forneceremos exemplos de scripts para ajudar você a avaliar a adequação da exclusão reversível de todos os seus buckets e automatizar a atualização das configurações, até mesmo em milhões de buckets. Personalize também as configurações de exclusão reversível nos scripts do Terraform ou do KCC e em outros fluxos de trabalho de criação de buckets para que novos buckets sejam criados com configurações que atendam às necessidades da sua empresa. 

Por fim, é possível criar restrições de política da organização para aplicar configurações específicas de exclusão reversível a buckets recém-criados.