Migrar da AWS para o Google Cloud: migrar do Amazon S3 para o Cloud Storage

Last reviewed 2024-07-30 UTC

Google Cloud oferece ferramentas, produtos, orientações e serviços profissionais para ajudar você a migrar dados do Amazon Simple Storage Service (Amazon S3) para o Cloud Storage. Neste documento, você verá como projetar, implementar e validar um plano para migrar do Amazon S3 para o Cloud Storage. O documento descreve uma parte do processo geral de migração em que você cria um inventário de artefatos do Amazon S3 e cria um plano para lidar com esse processo.

A discussão neste documento é destinada a administradores de nuvem que querem detalhes sobre como planejar e implementar um processo de migração. Ela também é destinada a tomadores de decisão que estão avaliando a oportunidade de migrar e que querem explorar uma migração.

Este documento faz parte de uma série com várias partes sobre a migração da AWS para Google Cloud que inclui os seguintes documentos:

Para essa migração para Google Cloud, recomendamos que você siga o framework de migração descrito em Migrar para Google Cloud: primeiros passos.

No diagrama a seguir, veja o caminho da sua jornada de migração.

Caminho de migração com quatro fases.

É possível migrar do seu ambiente de origem para o Google Cloud em uma série de iterações. Por exemplo, é possível migrar algumas cargas de trabalho primeiro e outras mais tarde. Para cada iteração de migração separada, siga as fases do framework de migração geral:

  1. Avaliar e descobrir suas cargas de trabalho e seus dados.
  2. Planejar e criar uma base em Google Cloud.
  3. Migre suas cargas de trabalho e seus dados para o Google Cloud.
  4. Otimize o Google Cloud ambiente.

Para mais informações sobre as fases desse framework, consulte Migrar para o Google Cloud: primeiros passos.

Para elaborar um plano de migração eficaz, recomendamos que você valide cada etapa do plano e use uma estratégia de reversão. Para ajudar você a validar o plano de migração, consulte Migrar para o Google Cloud: práticas recomendadas para validar um plano de migração.

Avaliar o ambiente de origem

Na fase de avaliação, você determina os requisitos e as dependências para migrar o ambiente de origem para Google Cloud.

A fase de avaliação é fundamental para o sucesso da migração. Você precisa ter um excelente conhecimento das cargas de trabalho que quer migrar, dos requisitos, das dependências e do ambiente atual. Você precisa entender seu ponto de partida para planejar e executar uma migração do Google Cloud.

A fase de avaliação consiste nas tarefas a seguir:

  1. Criar um inventário abrangente das suas cargas de trabalho.
  2. Catalogar suas cargas de trabalho de acordo com as propriedades e dependências delas.
  3. Treine e instrua suas equipes sobre Google Cloud.
  4. Crie experimentos e provas de conceito no Google Cloud.
  5. Calcule o custo total de propriedade (TCO) do ambiente de destino.
  6. Escolha a estratégia de migração para suas cargas de trabalho.
  7. Escolha as ferramentas de migração.
  8. Defina o plano e o cronograma de migração.
  9. Valide seu plano de migração.

Para mais informações sobre a fase de avaliação e essas tarefas, consulte Migrar para o Google Cloud: avaliar e descobrir cargas de trabalho. As seções a seguir são baseadas nas informações desse documento.

Criar um inventário dos buckets do Amazon S3

Para definir o escopo da migração, crie dois inventários: um inventário dos buckets do Amazon S3 e um inventário dos objetos armazenados nos buckets.

Depois de criar o inventário dos buckets do Amazon S3, refine o inventário considerando os seguintes pontos de dados sobre cada bucket do Amazon S3:

  • Como você configurou a criptografia do lado do servidor do bucket do Amazon S3.
  • Suas configurações para gerenciamento de identidade e acesso do bucket do Amazon S3.
  • A configuração para bloquear o acesso público do S3.
  • Todas as tags de alocação de custo para buckets do Amazon S3.
  • A configuração do S3 Object Lock.
  • Como você está acessando o bucket do Amazon S3.
  • Como você configurou os pagamentos do solicitante.
  • As configurações do controle de versão do objeto do Amazon S3.
  • A configuração das políticas de backup da AWS para o Amazon S3.
  • Se você estiver usando o nível inteligente do Amazon S3.
  • Como você configurou a replicação de objetos do Amazon S3.
  • O ciclo de vida do objeto do Amazon S3.

Também recomendamos que você colete dados sobre seus buckets do Amazon S3 para calcular estatísticas agregadas sobre os objetos contidos em cada um. Por exemplo, se você coletar o tamanho total do objeto, o tamanho médio e a contagem de objetos, isso poderá ajudar a estimar o tempo e o custo necessários para migrar de um bucket do Amazon S3 para um bucket do Cloud Storage.

Para criar o inventário dos buckets do Amazon S3 e coletar pontos de dados sobre eles, é possível implementar mecanismos e processos de coleta de dados que dependem de ferramentas da AWS, como as seguintes:

  • Ferramentas de monitoramento do Amazon S3
  • S3 Analytics
  • Agregação de dados multirregional e multiconta da AWS
  • APIs da AWS
  • Ferramentas de desenvolvedor da AWS
  • A interface de linha de comando da AWS

Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de bucket do Amazon S3 são mapeados para recursos semelhantes de bucket do Cloud Storage. A tabela a seguir resume esse mapeamento.

Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.

Criar um inventário dos objetos armazenados nos objetos do Amazon S3

Depois de criar o inventário dos buckets do Amazon S3, recomendamos criar um inventário dos objetos armazenados nesses buckets usando a ferramenta Inventário do Amazon S3.

Para criar o inventário dos seus objetos do Amazon S3, considere o seguinte para cada objeto:

  • Nome do objeto do Amazon S3
  • Tamanho do objeto do Amazon S3
  • Metadados de objeto do Amazon S3
  • Sub-recursos de objeto do Amazon S3
  • Versões do objeto do Amazon S3 e, se precisar migrar essas versões
  • URLs pré-assinados do objeto do Amazon S3
  • Transformações de objetos do Amazon S3
  • Tags de objeto do Amazon S3
  • Classes de armazenamento de objetos do Amazon S3
  • Arquivamento de objetos do Amazon S3

Recomendamos também que você colete dados sobre seus objetos do Amazon S3 para entender a frequência com que você e suas cargas de trabalho criam, atualizam e excluem objetos do Amazon S3.

Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de objeto do Amazon S3 são mapeados para recursos semelhantes de objeto do Cloud Storage. A tabela a seguir resume esse mapeamento.

Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.

Concluir a avaliação

Depois de criar os inventários do ambiente do Amazon S3, conclua o restante das atividades da fase de avaliação, conforme descrito em Migrar para o Google Cloud: avaliar e descobrir cargas de trabalho.

Planejar e criar sua base

Na fase de planejamento e criação, você provisiona e configura a infraestrutura para fazer o seguinte:

  • Ofereça suporte às cargas de trabalho no Google Cloud ambiente.
  • Conecte o ambiente de origem e o Google Cloud para concluir a migração.

A fase de criação e planejamento é composta pelas seguintes tarefas:

  1. Crie uma hierarquia de recursos.
  2. Configure o Identity and Access Management (IAM) do Google Cloud.
  3. Configure o faturamento.
  4. Configurar a conectividade de rede.
  5. Aumentar sua segurança.
  6. Configurar a geração de registros, o monitoramento e os alertas.

Para mais informações sobre cada uma dessas tarefas, consulte Migrar para o Google Cloud: planeje e crie sua base.

Migrar dados e cargas de trabalho do Amazon S3 para o Cloud Storage

Para migrar dados do Amazon S3 para o Cloud Storage, recomendamos que você projete um plano de migração de dados seguindo as orientações em Migrar para o Google Cloud: transferir grandes conjuntos de dados. Esse documento recomenda o uso do Serviço de transferência do Cloud Storage, um produto Google Cloud que permite migrar dados de várias origens para o Cloud Storage, como de ambientes locais ou de outros provedores de armazenamento em nuvem. O Storage Transfer Service é compatível com vários tipos de jobs de transferência de dados, como os seguintes:

Para implementar um plano de migração de dados, configure um ou mais jobs de transferência de dados. Por exemplo, para reduzir o comprimento das janelas de transferência durante a migração, implemente uma estratégia de migração de dados de replicação contínua da seguinte maneira:

  1. Configure um job de transferência de execução única para copiar os dados de um bucket do Amazon S3 para o bucket do Cloud Storage.
  2. Execute verificações de validação e consistência de dados para comparar os dados no bucket do Amazon S3 com os copiados no bucket do Cloud Storage.
  3. Configure jobs de transferência orientados por eventos para transferir dados automaticamente do bucket do Amazon S3 para o bucket do Cloud Storage quando o conteúdo do bucket do Amazon S3 for alterado.
  4. Interrompa as cargas de trabalho e os serviços com acesso aos dados que estão sendo migrados, isto é, aos dados envolvidos na etapa anterior.
  5. Refatore as cargas de trabalho para usar o Cloud Storage em vez do Amazon S3. É possível refatorar as cargas de trabalho usando uma das abordagens a seguir ou em sequência:

  6. Aguarde a replicação para sincronizar totalmente o Cloud Storage com o Amazon S3.

  7. Inicie suas cargas de trabalho.

  8. Desative o ambiente do Amazon S3 quando não precisar mais dele como uma opção substituta.

O Serviço de transferência do Cloud Storage pode preservar determinados metadados ao migrar objetos de uma fonte compatível para o Cloud Storage. Recomendamos que você avalie se o Serviço de transferência do Cloud Storage pode migrar os metadados do Amazon S3 em que você tem interesse.

Ao projetar seu plano de migração de dados, recomendamos que você também avalie os custos de saída de rede da AWS e os custos do Amazon S3. Por exemplo, considere as seguintes opções para transferir dados:

  • Em toda a Internet pública
  • Usando um link de interconexão
  • Usando o Amazon CloudFront.

A opção escolhida pode afetar os custos de saída de rede da AWS e os custos do Amazon S3. A opção também pode afetar a quantidade de esforço e recursos necessários para provisionar e configurar a infraestrutura. Para mais informações sobre CUSTOS, consulte estes documentos:

Ao migrar dados do Amazon S3 para o Cloud Storage, recomendamos usar o VPC Service Controls para criar um perímetro que negue explicitamente a comunicação entre Google Cloud serviços, a menos que os serviços sejam autorizados.

Otimizar o Google Cloud ambiente

A otimização é a última fase da migração. Nesta fase, você repete as tarefas de otimização até que o ambiente de destino atenda aos requisitos de otimização. As etapas de cada iteração são as seguintes:

  1. Avaliar o ambiente, as equipes e o ciclo de otimização atuais.
  2. Estabeleça suas metas e requisitos de otimização.
  3. Otimize o ambiente e as equipes.
  4. Ajustar o loop de otimização.

Repita essa sequência até alcançar suas metas de otimização.

Para mais informações sobre como otimizar o ambiente do Google Cloud , consulte Migrar para Google Cloud: otimizar o ambiente e Framework de arquiteturaGoogle Cloud : otimização de performance.

A seguir

Colaboradores

Autor: Marco Ferrari | Arquiteto de soluções na nuvem