Google Cloud oferece ferramentas, produtos, orientações e serviços profissionais para ajudar você a migrar dados do Amazon Simple Storage Service (Amazon S3) para o Cloud Storage. Neste documento, você verá como projetar, implementar e validar um plano para migrar do Amazon S3 para o Cloud Storage. O documento descreve uma parte do processo geral de migração em que você cria um inventário de artefatos do Amazon S3 e cria um plano para lidar com esse processo.
A discussão neste documento é destinada a administradores de nuvem que querem detalhes sobre como planejar e implementar um processo de migração. Ela também é destinada a tomadores de decisão que estão avaliando a oportunidade de migrar e que querem explorar uma migração.
Este documento faz parte de uma série com várias partes sobre a migração da AWS para Google Cloud que inclui os seguintes documentos:
- Primeiros passos
- Migrar do Amazon EC2 para o Compute Engine
- Migrar do Amazon S3 para o Cloud Storage (este documento)
- Migrar do Amazon EKS para o Google Kubernetes Engine
- Migrar do Amazon RDS e do Amazon Aurora para MySQL para o Cloud SQL para MySQL
- Migrar do Amazon RDS e do Amazon Aurora para PostgreSQL para o Cloud SQL para PostgreSQL e o AlloyDB para PostgreSQL
- Migrar do Amazon RDS para SQL Server para o Cloud SQL para SQL Server
- Migrar da AWS Lambda para o Cloud Run
Para essa migração para Google Cloud, recomendamos que você siga o framework de migração descrito em Migrar para Google Cloud: primeiros passos.
No diagrama a seguir, veja o caminho da sua jornada de migração.
É possível migrar do seu ambiente de origem para o Google Cloud em uma série de iterações. Por exemplo, é possível migrar algumas cargas de trabalho primeiro e outras mais tarde. Para cada iteração de migração separada, siga as fases do framework de migração geral:
- Avaliar e descobrir suas cargas de trabalho e seus dados.
- Planejar e criar uma base em Google Cloud.
- Migre suas cargas de trabalho e seus dados para o Google Cloud.
- Otimize o Google Cloud ambiente.
Para mais informações sobre as fases desse framework, consulte Migrar para o Google Cloud: primeiros passos.
Para elaborar um plano de migração eficaz, recomendamos que você valide cada etapa do plano e use uma estratégia de reversão. Para ajudar você a validar o plano de migração, consulte Migrar para o Google Cloud: práticas recomendadas para validar um plano de migração.
Avaliar o ambiente de origem
Na fase de avaliação, você determina os requisitos e as dependências para migrar o ambiente de origem para Google Cloud.
A fase de avaliação é fundamental para o sucesso da migração. Você precisa ter um excelente conhecimento das cargas de trabalho que quer migrar, dos requisitos, das dependências e do ambiente atual. Você precisa entender seu ponto de partida para planejar e executar uma migração do Google Cloud.
A fase de avaliação consiste nas tarefas a seguir:
- Criar um inventário abrangente das suas cargas de trabalho.
- Catalogar suas cargas de trabalho de acordo com as propriedades e dependências delas.
- Treine e instrua suas equipes sobre Google Cloud.
- Crie experimentos e provas de conceito no Google Cloud.
- Calcule o custo total de propriedade (TCO) do ambiente de destino.
- Escolha a estratégia de migração para suas cargas de trabalho.
- Escolha as ferramentas de migração.
- Defina o plano e o cronograma de migração.
- Valide seu plano de migração.
Para mais informações sobre a fase de avaliação e essas tarefas, consulte Migrar para o Google Cloud: avaliar e descobrir cargas de trabalho. As seções a seguir são baseadas nas informações desse documento.
Criar um inventário dos buckets do Amazon S3
Para definir o escopo da migração, crie dois inventários: um inventário dos buckets do Amazon S3 e um inventário dos objetos armazenados nos buckets.
Depois de criar o inventário dos buckets do Amazon S3, refine o inventário considerando os seguintes pontos de dados sobre cada bucket do Amazon S3:
- Como você configurou a criptografia do lado do servidor do bucket do Amazon S3.
- Suas configurações para gerenciamento de identidade e acesso do bucket do Amazon S3.
- A configuração para bloquear o acesso público do S3.
- Todas as tags de alocação de custo para buckets do Amazon S3.
- A configuração do S3 Object Lock.
- Como você está acessando o bucket do Amazon S3.
- Como você configurou os pagamentos do solicitante.
- As configurações do controle de versão do objeto do Amazon S3.
- A configuração das políticas de backup da AWS para o Amazon S3.
- Se você estiver usando o nível inteligente do Amazon S3.
- Como você configurou a replicação de objetos do Amazon S3.
- O ciclo de vida do objeto do Amazon S3.
Também recomendamos que você colete dados sobre seus buckets do Amazon S3 para calcular estatísticas agregadas sobre os objetos contidos em cada um. Por exemplo, se você coletar o tamanho total do objeto, o tamanho médio e a contagem de objetos, isso poderá ajudar a estimar o tempo e o custo necessários para migrar de um bucket do Amazon S3 para um bucket do Cloud Storage.
Para criar o inventário dos buckets do Amazon S3 e coletar pontos de dados sobre eles, é possível implementar mecanismos e processos de coleta de dados que dependem de ferramentas da AWS, como as seguintes:
- Ferramentas de monitoramento do Amazon S3
- S3 Analytics
- Agregação de dados multirregional e multiconta da AWS
- APIs da AWS
- Ferramentas de desenvolvedor da AWS
- A interface de linha de comando da AWS
Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de bucket do Amazon S3 são mapeados para recursos semelhantes de bucket do Cloud Storage. A tabela a seguir resume esse mapeamento.
Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.
Criar um inventário dos objetos armazenados nos objetos do Amazon S3
Depois de criar o inventário dos buckets do Amazon S3, recomendamos criar um inventário dos objetos armazenados nesses buckets usando a ferramenta Inventário do Amazon S3.
Para criar o inventário dos seus objetos do Amazon S3, considere o seguinte para cada objeto:
- Nome do objeto do Amazon S3
- Tamanho do objeto do Amazon S3
- Metadados de objeto do Amazon S3
- Sub-recursos de objeto do Amazon S3
- Versões do objeto do Amazon S3 e, se precisar migrar essas versões
- URLs pré-assinados do objeto do Amazon S3
- Transformações de objetos do Amazon S3
- Tags de objeto do Amazon S3
- Classes de armazenamento de objetos do Amazon S3
- Arquivamento de objetos do Amazon S3
Recomendamos também que você colete dados sobre seus objetos do Amazon S3 para entender a frequência com que você e suas cargas de trabalho criam, atualizam e excluem objetos do Amazon S3.
Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de objeto do Amazon S3 são mapeados para recursos semelhantes de objeto do Cloud Storage. A tabela a seguir resume esse mapeamento.
Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.
Concluir a avaliação
Depois de criar os inventários do ambiente do Amazon S3, conclua o restante das atividades da fase de avaliação, conforme descrito em Migrar para o Google Cloud: avaliar e descobrir cargas de trabalho.
Planejar e criar sua base
Na fase de planejamento e criação, você provisiona e configura a infraestrutura para fazer o seguinte:
- Ofereça suporte às cargas de trabalho no Google Cloud ambiente.
- Conecte o ambiente de origem e o Google Cloud para concluir a migração.
A fase de criação e planejamento é composta pelas seguintes tarefas:
- Crie uma hierarquia de recursos.
- Configure o Identity and Access Management (IAM) do Google Cloud.
- Configure o faturamento.
- Configurar a conectividade de rede.
- Aumentar sua segurança.
- Configurar a geração de registros, o monitoramento e os alertas.
Para mais informações sobre cada uma dessas tarefas, consulte Migrar para o Google Cloud: planeje e crie sua base.
Migrar dados e cargas de trabalho do Amazon S3 para o Cloud Storage
Para migrar dados do Amazon S3 para o Cloud Storage, recomendamos que você projete um plano de migração de dados seguindo as orientações em Migrar para o Google Cloud: transferir grandes conjuntos de dados. Esse documento recomenda o uso do Serviço de transferência do Cloud Storage, um produto Google Cloud que permite migrar dados de várias origens para o Cloud Storage, como de ambientes locais ou de outros provedores de armazenamento em nuvem. O Storage Transfer Service é compatível com vários tipos de jobs de transferência de dados, como os seguintes:
- Jobs de transferência de execução única, que transferem dados do Amazon S3 ou de outras origens compatíveis para o Cloud Storage sob demanda.
- Jobs de transferência programada, que transferem dados do Amazon S3 ou de outras origens compatíveis para o Cloud Storage de maneira programada.
- Jobs de transferência orientada a eventos, que transferem dados automaticamente quando o Amazon S3 envia notificações de eventos do Amazon S3 para o Amazon Simple Queue Service (SQS).
Para implementar um plano de migração de dados, configure um ou mais jobs de transferência de dados. Por exemplo, para reduzir o comprimento das janelas de transferência durante a migração, implemente uma estratégia de migração de dados de replicação contínua da seguinte maneira:
- Configure um job de transferência de execução única para copiar os dados de um bucket do Amazon S3 para o bucket do Cloud Storage.
- Execute verificações de validação e consistência de dados para comparar os dados no bucket do Amazon S3 com os copiados no bucket do Cloud Storage.
- Configure jobs de transferência orientados por eventos para transferir dados automaticamente do bucket do Amazon S3 para o bucket do Cloud Storage quando o conteúdo do bucket do Amazon S3 for alterado.
- Interrompa as cargas de trabalho e os serviços com acesso aos dados que estão sendo migrados, isto é, aos dados envolvidos na etapa anterior.
Refatore as cargas de trabalho para usar o Cloud Storage em vez do Amazon S3. É possível refatorar as cargas de trabalho usando uma das abordagens a seguir ou em sequência:
- Migração simples do Amazon S3 para o Cloud Storage. Em uma migração simples, você usa as ferramentas e bibliotecas atuais que geram solicitações REST autenticadas para o Amazon S3 em vez de gerar solicitações autenticadas para o Cloud Storage.
- Migrar completamente do Amazon S3 para o Cloud Storage. Em uma migração completa, é possível usar todos os recursos do Cloud Storage, incluindo vários projetos e o OAuth 2.0 para autenticação.
Aguarde a replicação para sincronizar totalmente o Cloud Storage com o Amazon S3.
Inicie suas cargas de trabalho.
Desative o ambiente do Amazon S3 quando não precisar mais dele como uma opção substituta.
O Serviço de transferência do Cloud Storage pode preservar determinados metadados ao migrar objetos de uma fonte compatível para o Cloud Storage. Recomendamos que você avalie se o Serviço de transferência do Cloud Storage pode migrar os metadados do Amazon S3 em que você tem interesse.
Ao projetar seu plano de migração de dados, recomendamos que você também avalie os custos de saída de rede da AWS e os custos do Amazon S3. Por exemplo, considere as seguintes opções para transferir dados:
- Em toda a Internet pública
- Usando um link de interconexão
- Usando o Amazon CloudFront.
A opção escolhida pode afetar os custos de saída de rede da AWS e os custos do Amazon S3. A opção também pode afetar a quantidade de esforço e recursos necessários para provisionar e configurar a infraestrutura. Para mais informações sobre CUSTOS, consulte estes documentos:
- Noções básicas sobre cobranças de transferência de dados na documentação da AWS
- Preços do Amazon S3
Ao migrar dados do Amazon S3 para o Cloud Storage, recomendamos usar o VPC Service Controls para criar um perímetro que negue explicitamente a comunicação entre Google Cloud serviços, a menos que os serviços sejam autorizados.
Otimizar o Google Cloud ambiente
A otimização é a última fase da migração. Nesta fase, você repete as tarefas de otimização até que o ambiente de destino atenda aos requisitos de otimização. As etapas de cada iteração são as seguintes:
- Avaliar o ambiente, as equipes e o ciclo de otimização atuais.
- Estabeleça suas metas e requisitos de otimização.
- Otimize o ambiente e as equipes.
- Ajustar o loop de otimização.
Repita essa sequência até alcançar suas metas de otimização.
Para mais informações sobre como otimizar o ambiente do Google Cloud , consulte Migrar para Google Cloud: otimizar o ambiente e Framework de arquiteturaGoogle Cloud : otimização de performance.
A seguir
- Leia sobre outras jornadas de migração da AWS para o Google Cloud .
- Saiba como comparar os serviços da AWS e do Azure com o Google Cloud.
- Saiba quando buscar ajuda para suas migrações.
- Para mais arquiteturas de referência, diagramas e práticas recomendadas, confira a Central de arquitetura do Cloud.
Colaboradores
Autor: Marco Ferrari | Arquiteto de soluções na nuvem