Nesta página, mostramos como criar e iniciar jobs de transferência do Amazon S3 para o Cloud Storage.
Configurar permissões
Antes de criar uma transferência, você precisa configurar permissões no bucket do Amazon S3. Para mais detalhes, consulte Configurar o acesso a uma origem: Amazon S3.
Também é necessário configurar permissões para as seguintes entidades do Google Cloud:
A conta de usuário usada para criar a transferência Essa é a conta conectada ao console do Google Cloud ou a conta especificada ao autenticar na CLI "gcloud". A conta de usuário pode ser uma conta de usuário normal ou uma conta de serviço gerenciado pelo usuário. | |
A conta serviço gerenciado pelo Google, também conhecida como agente de serviço, usada pelo Serviço de transferência do Cloud Storage. Essa conta geralmente é identificada pelo endereço de e-mail, que usa o formato project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com .
|
Consulte Permissões de transferência sem agente para mais instruções.
Opções de saída
O Serviço de transferência do Cloud Storage oferece várias opções para transferir dados do S3 para o Cloud Storage.
Opção de saída | Descrição |
---|---|
Padrão sem agente | Essa opção usa uma transferência gerenciada
e sem agente do S3. A saída da Amazon é cobrada.
Siga as instruções nesta página para usar essa opção. |
Distribuição do CloudFront | Usar uma distribuição do Amazon CloudFront
como caminho de saída. As transferências de dados pela CloudFront podem
se beneficiar de custos mais baixos de saída da AWS em comparação com a
transferência direta do S3. Consulte os
preços do CloudFront e as cobranças de saída do S3
para mais detalhes.
Siga as instruções em Transferir do S3 via CloudFront para configurar sua distribuição e criar uma transferência. |
Rede privada gerenciada | Transfira seus dados
por uma rede gerenciada pelo Google. Você não paga cobranças de saída do S3. Em vez disso, paga uma taxa por GiB para o Google Cloud. Consulte a página Preços
para mais detalhes. Você ainda pode receber cobranças
de operações da AWS (por exemplo, LIST ou GET ). Consulte os preços para mais detalhes.
As transferências de todos os projetos pela rede privada gerenciada compartilham a mesma largura de banda. Em períodos de uso intenso, a transferência pode ficar lenta. As transferências com arquivos grandes são afetadas mais do que as com arquivos pequenos. Siga as instruções nesta página para usar essa opção. Especifique a opção Rede privada gerenciada no console do Google Cloud ou o campo managedPrivateNetwork na API REST. A CLI gcloud e as bibliotecas de cliente não são compatíveis com transferências de rede
privada gerenciadas. Consulte as regiões compatíveis. |
Orientado por agentes | Válido para todo o armazenamento compatível com S3, incluindo o Amazon S3. Ao instalar o software do agente em máquinas com acesso aos buckets do S3, é possível controlar o caminho da rede e a largura de banda. Essa opção requer agentes
e pools de agentes.
Siga as instruções em Transferir de fontes compatíveis com S3 para usar essa opção. |
Regiões compatíveis
O Serviço de transferência do Cloud Storage é compatível com as seguintes regiões do Amazon S3:
af-south-1 ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 |
ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2
|
eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2
|
As transferências que usam a rede privada gerenciada são compatíveis com as seguintes regiões da AWS:
us-east-1 us-east-2 us-west-1 us-west-2 ca-west-1 ca-central-1 |
Opções de transferência
Os seguintes recursos do Serviço de transferência do Cloud Storage estão disponíveis para transferências do S3 para o Cloud Storage
- Transferir arquivos específicos usando um manifesto
- Você pode transmitir uma lista de arquivos para o Serviço de transferência do Cloud Storage realizar ações. Para mais detalhes, consulte Transferir arquivos ou objetos específicos usando um manifesto.
- Especificar a classe de armazenamento
- É possível especificar a
classe de armazenamento do Cloud Storage a ser usada para seus dados no bucket
de destino. Consulte as opções de
StorageClass
para ver detalhes de REST ou use a sinalização--custom-storage-class
com a Google Cloud CLI.Todas as configurações da classe de armazenamento serão ignoradas se o bucket de destino tiver a Classe automática ativada. Se a classe automática estiver ativada, os objetos transferidos para o bucket serão inicialmente definidos como Standard Storage.
- Preservação de metadados
-
Ao transferir arquivos do S3, o Serviço de transferência do Cloud Storage pode preservar determinados atributos como metadados personalizados.
Consulte a seção Amazon S3 para Cloud Storage de Preservação de metadados para ver detalhes sobre quais metadados podem ser preservados e como configurar sua transferência.
- Transferências baseadas em eventos
- O Storage Transfer Service pode ouvir as notificações de eventos do Amazon S3 enviadas ao Amazon SQS para transferir automaticamente os dados que foram adicionados ou atualizados no local de origem. Para mais informações, consulte Transferências orientadas a eventos.
- Geração de registros e monitoramento
- As transferências do S3 podem ser visualizadas no Cloud Logging e no Cloud Monitoring. Para mais detalhes, consulte Cloud Logging para o Serviço de transferência do Cloud Storage e Monitorar jobs de transferência. Também é possível configurar as notificações do Pub/Sub.
Criar uma transferência
O Serviço de transferência do Cloud Storage fornece várias interfaces para criar uma transferência.
Não inclua informações sensíveis, como informações de identificação pessoal (PII, na sigla em inglês) ou dados de segurança no nome do job de transferência. Os nomes dos recursos podem ser propagados para os nomes de outros recursos do Google Cloud e podem ser expostos aos sistemas internos do Google fora do seu projeto.
Console do Google Cloud
Acesse a página Serviço de transferência do Cloud Storage no Console do Google Cloud.
Clique em Criar job de transferência. Será exibida a página Criar um job de transferência.
Em Tipo de origem, selecione Amazon S3.
Como Tipo de destino, selecione Google Cloud Storage.
Selecione o Modo de programação. As transferências em lote são executadas uma única vez ou de maneira programada. As transferências orientadas por eventos monitoram continuamente a origem e transferem os dados quando eles são adicionados ou modificados.
Para configurar uma transferência orientada por eventos, siga as instruções em Transferências orientadas por eventos.
Clique em Próxima etapa.
No campo Bucket or folder name, insira o nome do bucket de origem.
O nome do bucket é o nome exibido no AWS Management Console.
Se você estiver usando uma distribuição do CloudFront para transferir do S3, insira o nome de domínio de distribuição no campo CloudFront domain. Por exemplo,
https://dy1h2n3l4ob56.cloudfront.net
. Consulte Transferir do S3 pelo CloudFront para configurar uma distribuição do CloudFront.Para usar uma rede privada gerenciada para esta transferência, marque a caixa de seleção. Consulte os detalhes em Opções de saída.
Selecione o método de autenticação da Amazon Web Services (AWS). Consulte os detalhes em Configurar o acesso a uma origem: Amazon S3.
Token de acesso: Digite sua chave de acesso naID da chave de acesso e o secret associado à sua chave de acesso no Chave de acesso do secret.
Papel do IAM da AWS para federação de identidade: insira seu ARN no campo ARN do papel do IAM da AWS com a seguinte sintaxe:
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
Em que:
ACCOUNT
: o ID da conta da AWS sem hifens.ROLE-NAME-WITH-PATH
: o nome do papel da AWS, incluindo o caminho.
Para mais informações sobre ARNs, consulte ARNs do IAM.
Recurso do secret: selecione essa opção para usar uma credencial da Amazon salva no Secret Manager. Selecione um secret na lista ou insira um manualmente no formato
projects/PROJECT_NUMBER/secrets/SECRET_NAME
.
Se for uma transferência orientada por eventos, insira o ARN da fila do Amazon SQS, que tem o seguinte formato:
arn:aws:sqs:us-east-1:1234567890:event-queue
- Se quiser, filtre objetos por prefixo ou pela data da última modificação. Se você especificou uma pasta como local de origem, os filtros de prefixo
são relativos a essa pasta. Por exemplo, se a origem for
my-test-bucket/path/
, um filtro de inclusão defile
incluirá todos os arquivos que começam commy-test-bucket/path/file
. Clique em Próxima etapa.
No campo Bucket ou pasta, insira o bucket de destino e, opcionalmente, o nome da pasta ou clique em Procurar para selecionar um bucket de uma lista de buckets no seu projeto atual. Para criar um novo intervalo, clique em Criar novo intervalo.
Clique em Próxima etapa.
Escolha as configurações do job de transferência.
No campo Descrição, insira uma descrição da transferência. Como prática recomendada, insira uma descrição significativa e exclusiva para que você possa distinguir os jobs.
Em Opções de metadados, use as opções padrão ou clique em Ver e selecionar opções para especificar valores a todos os metadados compatíveis. Consulte Preservação de metadados para mais detalhes.
Em Quando substituir, selecione uma destas opções:
Se diferente: substitui os arquivos de destino se o arquivo de origem com o mesmo nome tiver valores de ETags ou de soma de verificação diferentes.
Sempre: sempre grava arquivos de destino quando o arquivo de origem tem o mesmo nome, mesmo que sejam idênticos.
Em Quando excluir, selecione uma destas opções:
Nunca: nunca exclua arquivos da origem ou do destino.
Excluir o arquivo da origem após a transferência: exclua os arquivos da origem após a transferência para o destino.
Excluir arquivos do destino se eles não estiverem na origem: se os arquivos no bucket do Cloud Storage de destino também não estiverem na origem, exclua os arquivos do Cloud Storage. bucket.
Essa opção garante que o bucket de destino do Cloud Storage corresponda exatamente à sua origem.
Em Opções de notificação, selecione o tópico do Pub/Sub e os eventos a serem notificados. Consulte Notificações do Pub/Sub para mais detalhes.
Clique em Próxima etapa.
Escolha as opções de programação:
Na lista suspensa Executar uma vez, selecione uma das seguintes opções:
Executar uma vez: executa uma única transferência, começando em um horário selecionado por você.
Executar todos os dias: executa uma transferência diária, a partir do horário selecionado.
É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
Executar toda semana: executa uma transferência semanal a partir de um horário selecionado.
Executar com frequência personalizada: executa uma transferência na frequência selecionada. É possível repetir a transferência em um intervalo regular de Horas, Dias ou Semanas.
É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
Na lista suspensa Iniciando agora, selecione uma das seguintes opções:
Iniciando agora: inicia a transferência depois que você clica em Criar.
A partir de: inicia a transferência na data e hora selecionadas. Clique em Agenda para ver uma agenda e selecionar a data de início.
Para criar o job de transferência, clique em Criar.
CLI da gcloud
Para criar um novo job de transferência, use o comando
gcloud transfer jobs create
. A criação de um novo job inicia a transferência especificada, a menos que uma
programação ou --do-not-run
seja especificado.
A CLI gcloud não é compatível com transferências pelo CloudFront ou pela rede privada gerenciada.
gcloud transfer jobs create \
s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
--source-creds-file="relative_path/to/creds.json"
Em que:
S3_BUCKET_NAME é a fonte de dados dessa transferência; Também é possível incluir um caminho:
s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME é o bucket do Cloud Storage para onde a transferência será feita. Para fazer a transferência para um diretório específico, especifique
gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/
, incluindo a barra final.--source-creds-file
especifica o caminho relativo para um arquivo local na máquina que inclui credenciais da AWS para a origem da transferência. O conteúdo precisa estar no seguinte formato JSON:{ "accessKeyId": string, "secretAccessKey": string }
As opções adicionais incluem:
--do-not-run
impede que o Serviço de transferência do Cloud Storage execute o job após o envio do comando. Para executar o job, atualize-o para adicionar uma programação ou usejobs run
para iniciá-lo manualmente.--manifest-file
especifica o caminho para um arquivo CSV no Cloud Storage contendo uma lista de arquivos a serem transferidos da sua origem. Para formatar o arquivo de manifesto, consulte Transferir arquivos ou objetos específicos usando um manifesto.Informações do job: é possível especificar
--name
e--description
.Programação: especifique
--schedule-starts
,--schedule-repeats-every
e--schedule-repeats-until
ou--do-not-run
.Condições de objeto: use condições para determinar quais objetos são transferidos. Elas incluem
--include-prefixes
e--exclude-prefixes
, além das condições baseadas em tempo em--include-modified-[before | after]-[absolute | relative]
. Se você especificar uma pasta com sua origem, os filtros de prefixo serão relativos a essa pasta. Consulte Filtrar objetos de origem por prefixo para mais informações.Opções de transferência: especifique se você quer substituir os arquivos de destino (
--overwrite-when=different
oualways
) e se quer excluir determinados arquivos durante ou após a transferência (--delete-from=destination-if-unique
ousource-after-transfer
), especificar quais valores de metadados preservar (--preserve-metadata
) e, opcionalmente, definir uma classe de armazenamento em objetos transferidos (--custom-storage-class
).Notificações: configure as notificações de Pub/Sub para transferências com
--notification-pubsub-topic
,--notification-event-types
e--notification-payload-format
.Cloud Logging: ative o Cloud Logging com
--log-actions
e--log-action-states
. Consulte Cloud Logging para o Serviço de transferência do Cloud Storage para mais detalhes.
Para ver todas as opções, execute gcloud transfer jobs create --help
ou consulte a
documentação de referência de gcloud
.
REST
Veja nas amostras a seguir como usar o Serviço de transferência do Cloud Storage com a API REST.
Quando você configura ou edita jobs de transferência usando a API Storage Transfer Service, o horário precisa estar em UTC. Saiba como especificar a programação de um job de transferência em Programação.
Ao criar jobs de transferência, não inclua o prefixo s3://
no bucketName
dos nomes de origem do bucket do Amazon S3.
Transferência sem agente
No exemplo a seguir, criamos um job de transferência usando a configuração padrão sem agente. Para mais detalhes, consulte a referência transferJobs.create.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Consulte Configurar o acesso a uma origem: Amazon S3 para outras opções de autenticação.
Distribuição do CloudFront
Se você estiver transferindo do S3 por uma distribuição do CloudFront, especifique
o nome de domínio de distribuição como o valor do campo
transferSpec.awsS3DataSource.cloudfrontDomain
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Rede privada gerenciada
Para transferir do S3 usando uma rede privada gerenciada pelo Google, especifique o
campo transferSpec.awsS3DataSource.managedPrivateNetwork
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "managedPrivateNetwork": TRUE, "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Bibliotecas de cliente
Veja nas amostras a seguir como usar o Serviço de transferência do Cloud Storage de maneira programática com Go, Java, Node.js e Python.
Ao configurar ou editar jobs de transferência de maneira programática, o horário precisa estar em UTC. Saiba como especificar a programação de um job de transferência em Programação.
Para mais informações sobre as bibliotecas de cliente do Serviço de transferência do Cloud Storage, consulte Primeiros passos com as bibliotecas de cliente do Serviço de transferência do Cloud Storage.
Transferir do Amazon S3 para o Cloud Storage
Neste exemplo, você aprenderá a mover arquivos do Amazon S3 para um bucket do Cloud Storage.
Ao criar jobs de transferência, não inclua o prefixo s3://
no bucketName
dos nomes de origem do bucket do Amazon S3.
As bibliotecas de cliente do Serviço de transferência do Cloud Storage não são compatíveis com transferências pelo CloudFront ou pela rede privada gerenciada.
Go
Java
Procurando amostras mais antigas? Consulte o Guia de migração do serviço de transferência do Cloud Storage.
Node.js
Python
Procurando amostras mais antigas? Consulte o Guia de migração do serviço de transferência do Cloud Storage.