Google Cloud oferece ferramentas, produtos, orientações e serviços profissionais para ajudar a migrar dados do Amazon Simple Storage Service (Amazon S3) para o Cloud Storage. Este documento aborda como conceber, implementar e validar um plano para migrar do Amazon S3 para o Cloud Storage. O documento descreve uma parte do processo de migração geral em que cria um inventário de artefactos do Amazon S3 e cria um plano sobre como processar o processo de migração.
A discussão neste documento destina-se a administradores da nuvem que pretendam detalhes sobre como planear e implementar um processo de migração. Também se destina a decisores que estão a avaliar a oportunidade de migrar e que querem explorar como pode ser a migração.
Este documento faz parte de uma série de vários artigos sobre a migração da AWS para a Google Cloud , que inclui os seguintes documentos:
- Comece a usar
- Migre do Amazon EC2 para o Compute Engine
- Migre do Amazon S3 para o Cloud Storage (este documento)
- Migre do Amazon EKS para o Google Kubernetes Engine
- Migre do Amazon RDS e do Amazon Aurora para MySQL para o Cloud SQL para MySQL
- Migre do Amazon RDS e do Amazon Aurora para PostgreSQL para o Cloud SQL para PostgreSQL e o AlloyDB para PostgreSQL
- Migre do Amazon RDS para SQL Server para o Cloud SQL para SQL Server
- Migre do AWS Lambda para o Cloud Run
Para esta migração para Google Cloud, recomendamos que siga a estrutura de migração descrita no artigo Migrar para Google Cloud: introdução.
O diagrama seguinte ilustra o caminho do seu percurso de migração.
Pode migrar do ambiente de origem para o ambiente de destino Google Cloud numa série de iterações. Por exemplo, pode migrar algumas cargas de trabalho primeiro e outras mais tarde. Para cada iteração de migração separada, segue as fases da estrutura de migração geral:
- Avalie e descubra as suas cargas de trabalho e dados.
- Planeie e crie uma base em Google Cloud.
- Migre as suas cargas de trabalho e dados para o Google Cloud.
- Otimize o seu Google Cloud ambiente.
Para mais informações sobre as fases desta estrutura, consulte o artigo Migre para Google Cloud: comece.
Para criar um plano de migração eficaz, recomendamos que valide cada passo do plano e se certifique de que tem uma estratégia de reversão. Para ajudar a validar o seu plano de migração, consulte o artigo Migre para Google Cloud: práticas recomendadas para validar um plano de migração.
Avalie o ambiente de origem
Na fase de avaliação, determina os requisitos e as dependências para migrar o seu ambiente de origem para o Google Cloud.
A fase de avaliação é fundamental para o sucesso da sua migração. Tem de adquirir conhecimentos profundos sobre as cargas de trabalho que quer migrar, os respetivos requisitos, as respetivas dependências e o seu ambiente atual. Tem de compreender o seu ponto de partida para planear e executar com êxito uma Google Cloud migração.
A fase de avaliação consiste nas seguintes tarefas:
- Crie um inventário abrangente das suas cargas de trabalho.
- Catalogue as suas cargas de trabalho de acordo com as respetivas propriedades e dependências.
- Forme e eduque as suas equipas sobre Google Cloud.
- Crie experiências e provas de conceito em Google Cloud.
- Calcular o custo total de propriedade (TCO) do ambiente de destino.
- Escolha a estratégia de migração para as suas cargas de trabalho.
- Escolha as ferramentas de migração.
- Defina o plano de migração e a linha cronológica.
- Valide o seu plano de migração.
Para mais informações sobre a fase de avaliação e estas tarefas, consulte o artigo Migre para Google Cloud: avalie e descubra as suas cargas de trabalho. As secções seguintes baseiam-se nas informações desse documento.
Crie um inventário dos seus contentores do Amazon S3
Para definir o âmbito da migração, crie dois inventários: um inventário dos seus contentores do Amazon S3 e um inventário dos objetos armazenados nos contentores.
Depois de criar o inventário dos seus contentores do Amazon S3, refine o inventário considerando os seguintes pontos de dados acerca de cada contentor do Amazon S3:
- Como configurou a encriptação do lado do servidor do contentor do Amazon S3.
- As suas definições de gestão de identidade e de acesso do contentor do Amazon S3.
- A configuração para o acesso público de bloqueio do S3.
- Quaisquer etiquetas de atribuição de custos para contentores do Amazon S3.
- A configuração do bloqueio de objetos do S3.
- Como está a aceder ao contentor do Amazon S3.
- Como configurou o Requester Pays.
- As definições da gestão de versões de objetos do Amazon S3.
- A configuração das políticas de cópia de segurança da AWS para o Amazon S3.
- Se está a usar o Amazon S3 Intelligent-Tiering.
- Como configurou a replicação de objetos do Amazon S3.
- O ciclo de vida de objetos do Amazon S3.
Também recomendamos que recolha dados sobre os seus contentores do Amazon S3 que lhe permitam calcular estatísticas agregadas sobre os objetos que cada contentor contém. Por exemplo, se recolher o tamanho total do objeto, o tamanho médio do objeto e a contagem de objetos, pode ajudar a estimar o tempo e o custo necessários para migrar de um contentor do Amazon S3 para um contentor do Cloud Storage.
Para criar o inventário dos seus contentores do Amazon S3 e recolher pontos de dados sobre os seus contentores do Amazon S3, pode implementar mecanismos e processos de recolha de dados que dependam de ferramentas da AWS, como as seguintes:
- Ferramentas de monitorização do Amazon S3
- S3 Analytics
- Agregação de dados multirregionais e de várias contas da AWS
- APIs AWS
- Ferramentas para programadores da AWS
- A interface de linhas de comando da AWS
Para ajudar a evitar problemas durante a migração e a estimar o esforço necessário para a migração, recomendamos que avalie como as funcionalidades do contentor do Amazon S3 se mapeiam para funcionalidades semelhantes do contentor do Cloud Storage. A tabela seguinte resume este mapeamento.
Conforme mencionado anteriormente, as funcionalidades apresentadas na tabela anterior podem parecer semelhantes quando as compara. No entanto, as diferenças na conceção e implementação das funcionalidades nos dois fornecedores de nuvem podem ter efeitos significativos na sua migração do Amazon S3 para o Cloud Storage.
Crie um inventário dos objetos armazenados nos seus objetos do Amazon S3
Depois de criar o inventário dos seus contentores do Amazon S3, recomendamos que crie um inventário dos objetos armazenados nestes contentores através da ferramenta Inventário do Amazon S3.
Para criar o inventário dos seus objetos do Amazon S3, considere o seguinte para cada objeto:
- Nome do objeto do Amazon S3
- Tamanho do objeto do Amazon S3
- Metadados de objetos do Amazon S3
- Subrecursos de objetos do Amazon S3
- Versões de objetos do Amazon S3 e se precisa de migrar estas versões
- URLs pré-assinados de objetos do Amazon S3
- Transformações de objetos do Amazon S3
- Etiquetas de objetos do Amazon S3
- Classes de armazenamento de objetos do Amazon S3
- Arquivo de objetos do Amazon S3
Também recomendamos que recolha dados sobre os seus objetos do Amazon S3 para compreender a frequência com que você e as suas cargas de trabalho criam, atualizam e eliminam objetos do Amazon S3.
Para ajudar a evitar problemas durante a migração e a estimar o esforço necessário para a migração, recomendamos que avalie como as funcionalidades de objetos do Amazon S3 são mapeadas para funcionalidades de objetos semelhantes do Cloud Storage. A tabela seguinte resume este mapeamento.
Conforme mencionado anteriormente, as funcionalidades apresentadas na tabela anterior podem parecer semelhantes quando as compara. No entanto, as diferenças na conceção e implementação das funcionalidades nos dois fornecedores de nuvem podem ter efeitos significativos na sua migração do Amazon S3 para o Cloud Storage.
Conclua a avaliação
Depois de criar os inventários a partir do seu ambiente do Amazon S3, conclua as restantes atividades da fase de avaliação, conforme descrito no artigo Migrar para Google Cloud: avalie e descubra as suas cargas de trabalho.
Planeie e crie a sua base
Na fase de planeamento e criação, aprovisiona e configura a infraestrutura para fazer o seguinte:
- Suporte as suas cargas de trabalho no seu Google Cloud ambiente.
- Ligue o ambiente de origem e o ambiente Google Cloud para concluir a migração.
A fase de planeamento e criação é composta pelas seguintes tarefas:
- Crie uma hierarquia de recursos.
- Configure Google Cloud's Identity and Access Management (IAM).
- Configure a faturação
- Configure a conetividade de rede.
- Reforce a sua segurança.
- Configure o registo, a monitorização e os alertas.
Para mais informações sobre cada uma destas tarefas, consulte o artigo Migre para o Google Cloud: planeie e crie a sua base.
Migre dados e cargas de trabalho do Amazon S3 para o Cloud Storage
Para migrar dados do Amazon S3 para o Cloud Storage, recomendamos que crie um plano de migração de dados seguindo as orientações em Migrar para Google Cloud: transfira os seus grandes conjuntos de dados. Esse documento recomenda a utilização do Serviço de transferência de armazenamento, um Google Cloud produto que lhe permite migrar dados de várias origens para o Cloud Storage, como de ambientes no local ou de outros fornecedores de armazenamento na nuvem. O Serviço de transferência de armazenamento suporta vários tipos de tarefas de transferência de dados, como os seguintes:
- Tarefas de transferência únicas, que transferem dados do Amazon S3 ou de outras origens suportadas para o Cloud Storage a pedido.
- Tarefas de transferência agendadas, que transferem dados do Amazon S3 ou de outras origens suportadas para o Cloud Storage de acordo com um agendamento.
- Tarefas de transferência baseadas em eventos, que transferem automaticamente dados quando o Amazon S3 envia notificações de eventos do Amazon S3 para o Amazon Simple Queue Service (SQS).
Para implementar um plano de migração de dados, pode configurar uma ou mais tarefas de transferência de dados. Por exemplo, para reduzir a duração dos períodos de transição durante a migração, pode implementar uma estratégia de migração de dados de replicação contínua da seguinte forma:
- Configure uma tarefa de transferência única para copiar os dados de um contentor do Amazon S3 para o contentor do Cloud Storage.
- Realize a validação de dados e as verificações de consistência para comparar os dados no contentor do Amazon S3 com os dados copiados no contentor do Cloud Storage.
- Configure tarefas de transferência baseadas em eventos para transferir automaticamente dados do contentor do Amazon S3 para o contentor do Cloud Storage quando o conteúdo do contentor do Amazon S3 muda.
- Pare os fluxos de trabalho e os serviços que têm acesso aos dados que estão a ser migrados (ou seja, aos dados envolvidos no passo anterior).
Refatore as cargas de trabalho para usar o Cloud Storage em vez do Amazon S3. Pode refatorar as suas cargas de trabalho através de uma das seguintes abordagens ou usando as abordagens em sequência:
- Migração simples do Amazon S3 para o Cloud Storage. Numa migração simples, usa as suas ferramentas e bibliotecas existentes que geram pedidos REST autenticados para o Amazon S3 para, em alternativa, gerar pedidos autenticados para o Cloud Storage.
- Migre totalmente do Amazon S3 para o Cloud Storage. Numa migração completa, pode usar todas as funcionalidades do Cloud Storage, incluindo vários projetos e o OAuth 2.0 para autenticação.
Aguarde que a replicação sincronize totalmente o Cloud Storage com o Amazon S3.
Inicie as suas cargas de trabalho.
Quando já não precisar do seu ambiente do Amazon S3 como opção alternativa, desative-o.
O Serviço de transferência de armazenamento pode preservar determinados metadados quando migra objetos de uma origem suportada para o Cloud Storage. Recomendamos que avalie se o serviço de transferência de armazenamento pode migrar os metadados do Amazon S3 que lhe interessam.
Quando criar o seu plano de migração de dados, recomendamos que avalie também os custos de saída da rede da AWS e os custos do Amazon S3. Por exemplo, considere as seguintes opções para transferir dados:
- Na Internet pública.
- Usando um link de interconexão.
- Usando o Amazon CloudFront.
A opção que escolher pode ter um impacto nos custos de saída da rede da AWS e nos custos do Amazon S3. A opção também pode afetar o esforço e os recursos necessários para aprovisionar e configurar a infraestrutura. Para mais informações sobre os custos, consulte o seguinte:
- Transferência do Amazon S3 para o Cloud Storage: opções de saída
- Compreender os custos de transferência de dados na documentação da AWS
- Preços do Amazon S3
Quando migra dados do Amazon S3 para o Cloud Storage, recomendamos que use os VPC Service Controls para criar um perímetro que negue explicitamente a comunicação entre serviços, a menos que os serviços estejam autorizados. Google Cloud
Otimize o seu Google Cloud ambiente
A otimização é a última fase da migração. Nesta fase, itera nas tarefas de otimização até que o ambiente de destino cumpra os requisitos de otimização. Os passos de cada iteração são os seguintes:
- Avalie o seu ambiente, equipas e ciclo de otimização atuais.
- Estabeleça os seus requisitos e objetivos de otimização.
- Otimize o seu ambiente e as suas equipas.
- Ajuste o ciclo de otimização.
Repete esta sequência até atingir os seus objetivos de otimização.
Para mais informações sobre a otimização do seu Google Cloud ambiente, consulte Migrar para Google Cloud: otimize o seu ambiente e Google Cloud Framework bem arquitetado: otimização do desempenho.
O que se segue?
- Leia acerca de outras migrações da AWS para Google Cloud .
- Saiba como comparar os serviços da AWS e do Azure com os serviços Google Cloud Google Cloud.
- Saiba quando encontrar ajuda para as suas migrações.
- Para ver mais arquiteturas de referência, diagramas e práticas recomendadas, explore o Centro de arquitetura na nuvem.
Colaboradores
Autor: Marco Ferrari | Arquiteto de soluções na nuvem