O Google Cloud oferece ferramentas, produtos, orientações e serviços profissionais para ajudar você a migrar dados do Amazon Simple Storage Service (Amazon S3) para o Cloud Storage. Neste documento, você verá como projetar, implementar e validar um plano para migrar do Amazon S3 para o Cloud Storage. O documento descreve uma parte do processo geral de migração em que você cria um inventário de artefatos do Amazon S3 e cria um plano para lidar com esse processo.
A discussão neste documento é destinada a administradores de nuvem que querem detalhes sobre como planejar e implementar um processo de migração. Ela também é destinada a tomadores de decisão que estão avaliando a oportunidade de migrar e que querem explorar uma migração.
Este documento faz parte de uma série com várias partes sobre migração da AWS para o Google Cloud que inclui os seguintes documentos:
- Primeiros passos
- Migrar do Amazon EC2 para o Compute Engine
- Migrar do Amazon S3 para o Cloud Storage (este documento)
- Migrar do Amazon Elastic Kubernetes Service (Amazon EKS) para o Google Kubernetes Engine
Esta série presume que você leu e está familiarizado com os seguintes documentos:
- Migrar para o Google Cloud: escolha seu caminho de migração: apresenta a série sobre migração para o Google Cloud e ajuda você a entender como cada parte da série está relacionado a outros documentos.
- Migrar para o Google Cloud: primeiros passos: descreve o framework geral de migração que você segue nesta migração.
- Migrar para o Google Cloud: transfira seus grandes conjuntos de dados: descreve como transferir dados para o Google Cloud.
- Migrar para o Google Cloud: práticas recomendadas para validar um plano de migração: descreve possíveis alterações e melhorias no seu plano de migração.
No diagrama a seguir, veja o caminho das fases de migração. Em cenários de migração, a fase de implantação é equivalente a executar um processo de migração.
É possível migrar do Amazon S3 para o Cloud Storage em uma série de iterações. Por exemplo, é possível migrar alguns dados e cargas de trabalho primeiro e outros posteriormente. Para cada iteração de migração separada, siga as fases do framework geral de migração:
- Avalie e descubra suas cargas de trabalho e dados.
- Planejar e criar uma base no Google Cloud.
- Migrar suas cargas de trabalho e seus dados para o Google Cloud.
- Otimizar seu ambiente do Google Cloud.
Para mais informações sobre as fases desse framework, consulte Migrar para o Google Cloud: primeiros passos.
Avaliar o ambiente de origem
Na fase de avaliação, determine os requisitos e as dependências dos recursos que você quer migrar do Amazon S3 para o Cloud Storage.
A fase de avaliação consiste nas tarefas a seguir:
- Crie um inventário abrangente de cargas de trabalho e dados.
- Catalogue suas cargas de trabalho e dados de acordo com as propriedades e dependências.
- Treine e instrua suas equipes sobre o Google Cloud.
- Criar experimentos e provas de conceito no Google Cloud.
- Calcular o custo total de propriedade (TCO) do ambiente de destino.
- Decida a ordem e a prioridade das cargas de trabalho que você quer migrar.
Para mais informações sobre a fase de avaliação e essas tarefas, consulte Migrar para o Google Cloud: avaliar e descobrir suas cargas de trabalho. As seções a seguir são baseadas nas informações desse documento.
Criar um inventário dos buckets do Amazon S3
Para definir o escopo da migração, crie dois inventários: um inventário dos buckets do Amazon S3 e um inventário dos objetos armazenados nos buckets.
Para criar o inventário dos buckets do Amazon S3, recomendamos que você use a Central de migração, a plataforma unificada do Google Cloud que ajuda a acelerar sua jornada completa na nuvem do ambiente atual para o Google Cloud. O Centro de migração permite importar dados do Amazon S3 e de outros recursos da AWS. Em seguida, a Central de migração recomenda serviços relevantes do Google Cloud para que você possa migrar.
Depois de criar o inventário dos buckets do Amazon S3, refine o inventário considerando os seguintes pontos de dados sobre cada bucket do Amazon S3:
- Como você configurou a criptografia do lado do servidor do bucket do Amazon S3.
- Suas configurações para gerenciamento de identidade e acesso do bucket do Amazon S3.
- A configuração para bloquear o acesso público do S3.
- Todas as tags de alocação de custo para buckets do Amazon S3.
- A configuração do S3 Object Lock.
- Como você está acessando o bucket do Amazon S3.
- Como você configurou os pagamentos do solicitante.
- As configurações do controle de versão do objeto do Amazon S3.
- A configuração das políticas de backup da AWS para o Amazon S3.
- Se você estiver usando o nível inteligente do Amazon S3.
- Como você configurou a replicação de objetos do Amazon S3.
- O ciclo de vida do objeto do Amazon S3.
Também recomendamos que você colete dados sobre seus buckets do Amazon S3 para calcular estatísticas agregadas sobre os objetos contidos em cada um. Por exemplo, se você coletar o tamanho total do objeto, o tamanho médio e a contagem de objetos, isso poderá ajudar a estimar o tempo e o custo necessários para migrar de uma Amazon S3 para um bucket do Cloud Storage.
Para coletar esses pontos de dados sobre seus buckets do Amazon S3, é possível implementar mecanismos e processos de coleta de dados que dependem de ferramentas da AWS, como os seguintes:
- Ferramentas de monitoramento do Amazon S3
- S3 Analytics
- APIs da AWS
- Ferramentas de desenvolvedor da AWS
- A interface de linha de comando da AWS
Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de bucket do Amazon S3 são mapeados para recursos semelhantes de bucket do Cloud Storage. A tabela a seguir resume esse mapeamento.
Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.
Criar um inventário dos objetos armazenados nos objetos do Amazon S3
Depois de criar o inventário dos buckets do Amazon S3, recomendamos criar um inventário dos objetos armazenados nesses buckets usando a ferramenta Inventário do Amazon S3.
Para criar o inventário dos seus objetos do Amazon S3, considere o seguinte para cada objeto:
- Nome do objeto do Amazon S3
- Tamanho do objeto do Amazon S3
- Metadados de objeto do Amazon S3
- Subrecursos de objeto do Amazon S3
- Versões do objeto do Amazon S3 e, se precisar migrar essas versões
- URLs pré-assinados do objeto do Amazon S3
- Transformações de objetos do Amazon S3
- Tags de objeto do Amazon S3
- Classes de armazenamento de objetos do Amazon S3
- Arquivamento de objetos do Amazon S3
Recomendamos também que você colete dados sobre seus objetos do Amazon S3 para entender a frequência com que você e suas cargas de trabalho criam, atualizam e excluem objetos do Amazon S3.
Para evitar problemas durante a migração e estimar o esforço necessário para a migração, recomendamos que você avalie como os recursos de objeto do Amazon S3 são mapeados para recursos semelhantes de objeto do Cloud Storage. A tabela a seguir resume esse mapeamento.
Como observado anteriormente, os recursos listados na tabela anterior podem parecer semelhantes quando comparados. No entanto, as diferenças no design e na implementação dos recursos nos dois provedores de nuvem podem ter efeitos significativos na migração do Amazon S3 para o Cloud Storage.
Concluir a avaliação
Depois de criar os inventários no ambiente do Amazon S3, conclua o restante das atividades da fase de avaliação, conforme descrito em Migrar para o Google Cloud: avaliar e descobrir as cargas de trabalho.
Planeje e crie sua base
A fase de criação e planejamento da migração para o Google Cloud consiste nas seguintes tarefas:
- Crie uma hierarquia de recursos.
- Configurar o gerenciamento de identidade e acesso.
- Configurar o faturamento.
- Configurar a conectividade de rede.
- Aumentar sua segurança.
- Configurar a geração de registros, o monitoramento e os alertas.
Para mais informações sobre cada uma dessas tarefas, consulte Migrar para o Google Cloud: criar sua base.
Migrar dados e cargas de trabalho do Amazon S3 para o Cloud Storage
Para migrar dados do Amazon S3 para o Cloud Storage, recomendamos que você projete um plano de migração de dados seguindo as orientações em Migrar para o Google Cloud: transferir seus grandes conjuntos de dados. Neste documento, recomendamos o uso do Serviço de transferência do Cloud Storage, um produto do Google Cloud que permite migrar dados de várias origens para o Cloud Storage, como de ambientes locais ou de outros provedores de armazenamento em nuvem. O Storage Transfer Service é compatível com vários tipos de jobs de transferência de dados, como os seguintes:
- Jobs de transferência de execução única, que transferem dados do Amazon S3 ou de outras origens compatíveis para o Cloud Storage sob demanda.
- Jobs de transferência programada, que transferem dados do Amazon S3 ou de outras origens compatíveis para o Cloud Storage de maneira programada.
- Jobs de transferência orientada a eventos, que transferem dados automaticamente quando o Amazon S3 envia notificações de eventos do Amazon S3 para o Amazon Simple Queue Service (SQS).
Para implementar um plano de migração de dados, configure um ou mais jobs de transferência de dados. Por exemplo, para reduzir o comprimento das janelas de transferência durante a migração, implemente uma estratégia de migração de dados de replicação contínua da seguinte maneira:
- Configure um job de transferência de execução única para copiar os dados de um bucket do Amazon S3 para o bucket do Cloud Storage.
- Execute verificações de validação e consistência de dados para comparar os dados no bucket do Amazon S3 com os copiados no bucket do Cloud Storage.
- Configure jobs de transferência orientados por eventos para transferir dados automaticamente do bucket do Amazon S3 para o bucket do Cloud Storage quando o conteúdo do bucket do Amazon S3 for alterado.
- Interrompa as cargas de trabalho e os serviços com acesso aos dados que estão sendo migrados, isto é, aos dados envolvidos na etapa anterior.
Refatore as cargas de trabalho para usar o Cloud Storage em vez do Amazon S3. É possível refatorar as cargas de trabalho usando uma das abordagens a seguir ou em sequência:
- Migração simples do Amazon S3 para o Cloud Storage. Em uma migração simples, você usa as ferramentas e bibliotecas atuais que geram solicitações REST autenticadas para o Amazon S3 em vez de gerar solicitações autenticadas para o Cloud Storage.
- Migrar completamente do Amazon S3 para o Cloud Storage. Em uma migração completa, é possível usar todos os recursos do Cloud Storage, incluindo vários projetos e o OAuth 2.0 para autenticação.
Aguarde a replicação para sincronizar totalmente o Cloud Storage com o Amazon S3.
Inicie suas cargas de trabalho.
Desative o ambiente do Amazon S3 quando não precisar mais dele como uma opção substituta.
O Serviço de transferência do Cloud Storage pode preservar determinados metadados ao migrar objetos de uma fonte compatível para o Cloud Storage. Recomendamos que você avalie se o Serviço de transferência do Cloud Storage pode migrar os metadados do Amazon S3 nos quais você tem interesse.
Ao projetar seu plano de migração de dados, recomendamos que você também avalie os custos de saída de rede da AWS e os custos do Amazon S3. Por exemplo, considere as seguintes opções para transferir dados:
- Em toda a Internet pública
- Usando um link de interconexão
- Usando o Amazon CloudFront.
A opção escolhida pode afetar os custos de saída de rede da AWS e os custos do Amazon S3. A opção também pode afetar a quantidade de esforço e recursos necessários para provisionar e configurar a infraestrutura. Para mais informações sobre CUSTOS, consulte estes documentos:
- Noções básicas sobre cobranças de transferência de dados na documentação da AWS
- Preços do Amazon S3
Ao migrar dados do Amazon S3 para o Cloud Storage, recomendamos que você use o VPC Service Controls para criar um perímetro que nega explicitamente a comunicação entre os serviços do Google Cloud, a menos que os serviços sejam autorizados.
Otimizar o ambiente após a migração
A otimização é a última fase da migração. Nesta fase, você repete as tarefas de otimização até que o ambiente atenda aos requisitos de otimização. As etapas desta iteração são as seguintes:
- Avalie o ambiente atual e suas equipes.
- Estabeleça suas metas e requisitos de otimização.
- Otimize o ambiente e as equipes.
- Ajuste seu processo de otimização.
Repita essa sequência até alcançar suas metas de otimização.
Para mais informações sobre como otimizar o ambiente do Google Cloud, consulte Migrar para o Google Cloud: otimizar o ambiente.
A seguir
- Saiba como migrar do Amazon EC2 para o Compute Engine.
- Leia sobre outras jornadas de migração da AWS para o Google Cloud.
- Saiba como comparar os serviços da AWS e do Azure com os serviços Google Cloud.
- Saiba quando encontrar ajuda para suas migrações.
- Confira arquiteturas de referência, diagramas, tutoriais e práticas recomendadas do Google Cloud. Confira o Centro de arquitetura do Cloud.