Nesta página, mostramos como criar e iniciar jobs de transferência Amazon S3 para o Cloud Storage.
Configurar permissões
Antes de criar uma transferência, você precisa configurar as permissões no seu bucket do Amazon S3. Para mais detalhes, consulte Configurar o acesso a uma origem: Amazon S3.
Você também precisa configurar permissões para os seguintes Entidades do Google Cloud:
A conta de usuário usada para criar a transferência Esta é a conectada ao console do Google Cloud ou a conta conectada especificados na autenticação para a CLI "gcloud". A conta de usuário pode pode ser uma conta de usuário comum ou uma conta de serviço gerenciado pelo usuário. | |
A conta de serviço gerenciado pelo Google, também conhecida como
de teste, usado pelo Serviço de transferência do Cloud Storage. Essa conta geralmente é identificada por
o endereço de e-mail, que usa o formato
project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com :
|
Consulte Permissões de transferência sem agente para instruções.
Opções de saída
O Serviço de transferência do Cloud Storage oferece várias opções para transferir seus dados do S3 para o Cloud Storage.
Opção de saída | Descrição |
---|---|
Padrão sem agente | Essa opção usa uma transferência gerenciada e sem agente
do S3. A saída da Amazon é cobrada.
Siga as instruções nesta página para usar é a melhor opção. |
Distribuição do CloudFront | Use uma distribuição do Amazon CloudFront como um caminho de saída. As transferências de dados pelo CloudFront podem
se beneficiam de custos mais baixos de saída da AWS em comparação com
transferidos diretamente do S3. Consulte
Preços do CloudFront e cobranças de saída do S3
para mais detalhes.
Siga as instruções Transferir do S3 pelo CloudFront para configurar sua distribuição e criar uma transferência. |
Rede privada gerenciada | Transfira seus dados por uma plataforma gerenciada pelo Google
em uma rede VPC. Você não paga cobranças de saída do S3. Em vez disso, paga uma taxa por GiB ao Google Cloud. Consulte a página de preços
para mais detalhes. Você ainda pode receber cobranças
cobranças operacionais da AWS (por exemplo, LIST ou GET
chamadas); consulte os preços para mais detalhes.
Todos os projetos as transferências pelo compartilhamento de rede privada gerenciada a mesma largura de banda. Em períodos de uso elevado, a transferência pode lentamente. As transferências com arquivos grandes são mais afetadas do que as com arquivos pequenos. Siga as instruções desta página para usar essa opção. Especificar a opção Rede privada gerenciada no console do Google Cloud ou o campo managedPrivateNetwork na API REST. CLI gcloud
e as bibliotecas de cliente não dão suporte a redes privadas gerenciadas
transferências de dados. Consulte a
regiões com suporte. |
Orientado por agente | Válido para todo o armazenamento compatível com S3, incluindo o Amazon S3. De
a instalação de software de agente em máquinas com acesso
aos buckets do S3, controle a rede
e largura de banda. Essa opção exige agentes
e pools de agentes.
Siga as instruções disponíveis em Transfira de fontes compatíveis com S3 para usar essa opção. |
Regiões compatíveis
O Serviço de transferência do Cloud Storage é compatível com as seguintes regiões do Amazon S3:
af-south-1 ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 |
ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2
|
eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2
|
As transferências que usam a rede privada gerenciada são compatíveis com as seguintes regiões da AWS:
us-east-1 us-east-2 us-west-1 us-west-2 ca-west-1 ca-central-1 |
Opções de transferência
Os seguintes recursos do Serviço de transferência do Cloud Storage estão disponíveis para transferências de S3 para Cloud Storage
- Transferir arquivos específicos usando um manifesto
- É possível transmitir uma lista de arquivos para o Storage Transfer Service. Consulte Transfira arquivos específicos ou usando um manifesto para ver mais detalhes.
- Especificar a classe de armazenamento
- É possível especificar
Classe de armazenamento do Cloud Storage a ser usada para seus dados no destino
do Google Cloud. Consulte a
StorageClass
para detalhes da REST ou use as--custom-storage-class
com a Google Cloud CLI.Todas as configurações de classe de armazenamento serão ignoradas se o destino bucket tem a Classe automática ativada. Se A classe automática está ativada, os objetos transferidos para o bucket são é definida como Standard Storage.
- Preservação de metadados
-
Ao transferir arquivos do S3, o Serviço de transferência do Cloud Storage pode preservar determinados atributos como metadados personalizados.
Consulte a seção Amazon S3 para Cloud Storage Preservação de metadados para detalhes sobre quais metadados podem ser preservados e como configurar sua transferência.
- Transferências baseadas em eventos
- O Serviço de transferência do Cloud Storage pode detectar as notificações de eventos do Amazon S3 enviadas Amazon SQS para transferir automaticamente dados que foram adicionados ou atualizados no local de origem. Consulte Orientado por eventos baldeações para mais informações.
- Geração de registros e monitoramento
- As transferências do S3 podem ser vistas no Cloud Logging e Cloud Monitoring: Consulte Cloud Logging para o Serviço de transferência do Cloud Storage e Monitorar transferência jobs para saber mais detalhes. Também é possível configurar Pub/Sub notificações.
Criar uma transferência
O Serviço de transferência do Cloud Storage fornece várias interfaces para criar uma transferência.
Não inclua informações sensíveis, como informações de identificação pessoal (PII, na sigla em inglês) ou dados de segurança no nome do job de transferência. Os nomes dos recursos podem ser propagados para os nomes de outros recursos do Google Cloud e podem ser expostos aos sistemas internos do Google fora do seu projeto.
Console do Google Cloud
Acesse a página Serviço de transferência do Cloud Storage no Console do Google Cloud.
Clique em Criar job de transferência. Será exibida a página Criar um job de transferência.
Em Tipo de origem, selecione Amazon S3.
Como Tipo de destino, selecione Google Cloud Storage.
Selecione o Modo de programação. As transferências em lote são executadas uma única vez ou de maneira programada. As transferências orientadas por eventos monitoram continuamente a origem e transferem os dados quando eles são adicionados ou modificados.
Para configurar uma transferência orientada por eventos, siga as instruções em Transferências orientadas por eventos.
Clique em Próxima etapa.
No campo Bucket or folder name, insira o nome do bucket de origem.
O nome do bucket é o nome exibido no AWS Management Console.
Se você estiver usando uma distribuição do CloudFront para transferir do S3, insira o nome de domínio de distribuição no campo CloudFront domain. Por exemplo,
https://dy1h2n3l4ob56.cloudfront.net
. Consulte Transferir do S3 pelo CloudFront para configurar uma distribuição do CloudFront.Para usar uma rede privada gerenciada para essa transferência, selecione o caixa de seleção. Consulte os detalhes em Opções de saída.
Selecione o método de autenticação da Amazon Web Services (AWS). Consulte Configure o acesso a uma origem: Amazon S3 para mais detalhes.
Token de acesso: Digite sua chave de acesso naID da chave de acesso e o secret associado à sua chave de acesso no Chave de acesso do secret.
Papel do IAM da AWS para federação de identidade: insira seu ARN no Campo ARN do papel do IAM da AWS com a seguinte sintaxe:
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
Em que:
ACCOUNT
: o ID da conta da AWS sem hifens.ROLE-NAME-WITH-PATH
: o nome do papel da AWS, incluindo o caminho.
Para mais informações sobre ARNs, consulte ARNs do IAM.
Recurso secret: selecione essa opção para usar uma credencial da Amazon salva no Secret Manager. Selecione um secret da lista ou insira um manualmente no formato
projects/PROJECT_NUMBER/secrets/SECRET_NAME
.
Se for uma transferência orientada por eventos, insira o ARN da fila do Amazon SQS, que tem o seguinte formato:
arn:aws:sqs:us-east-1:1234567890:event-queue
- Você também pode optar por
filtrar objetos por prefixo
ou pela data da última modificação. Se você especificou uma pasta como local de origem, os filtros de prefixo
são relativos à pasta. Por exemplo, se a origem for
my-test-bucket/path/
, uma incluir filtro defile
inclui todos os arquivos que começam commy-test-bucket/path/file
Clique em Próxima etapa.
No campo Bucket ou pasta, insira o bucket de destino e, opcionalmente, o nome da pasta ou clique em Procurar para selecionar um bucket de uma lista de buckets no seu projeto atual. Para criar um novo intervalo, clique em Criar novo intervalo.
Clique em Próxima etapa.
Escolha as configurações do job de transferência.
No campo Descrição, insira uma descrição da transferência. Como prática recomendada, insira uma descrição significativa e exclusiva para que você possa distinguir os jobs.
Em Opções de metadados, use as opções padrão ou clique em Ver e selecionar opções para especificar valores a todos os metadados compatíveis. Consulte Preservação de metadados para mais detalhes.
Em Quando substituir, selecione uma destas opções:
Se diferente: substitui os arquivos de destino se o arquivo de origem com o mesmo nome tiver valores de ETags ou de soma de verificação diferentes.
Sempre: sempre grava arquivos de destino quando o arquivo de origem tem o mesmo nome, mesmo que sejam idênticos.
Em Quando excluir, selecione uma destas opções:
Nunca: nunca exclua arquivos da origem ou do destino.
Excluir o arquivo da origem após a transferência: exclua os arquivos da origem após a transferência para o destino.
Excluir arquivos do destino se eles não estiverem na origem: se os arquivos no bucket do Cloud Storage de destino também não estiverem na origem, exclua os arquivos do Cloud Storage. bucket.
Essa opção garante que o bucket de destino do Cloud Storage corresponda exatamente à sua origem.
Em Opções de notificação, selecione o tópico do Pub/Sub e os eventos a serem notificados. Consulte Notificações do Pub/Sub para mais detalhes.
Clique em Próxima etapa.
Escolha as opções de programação:
Na lista suspensa Executar uma vez, selecione uma das seguintes opções:
Executar uma vez: executa uma única transferência, começando em um horário selecionado por você.
Executar todos os dias: executa uma transferência diária, a partir do horário selecionado.
É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
Executar toda semana: executa uma transferência semanal a partir de um horário selecionado.
Executar com frequência personalizada: executa uma transferência na frequência selecionada. É possível repetir a transferência em um intervalo regular de Horas, Dias ou Semanas.
É possível inserir uma Data de término opcional ou deixar a Data de término em branco para executar a transferência continuamente.
Na lista suspensa Iniciando agora, selecione uma das seguintes opções:
Iniciando agora: inicia a transferência depois que você clica em Criar.
A partir de: inicia a transferência na data e hora selecionadas. Clique em Agenda para ver uma agenda e selecionar a data de início.
Para criar o job de transferência, clique em Criar.
CLI gcloud
Para criar um novo job de transferência, use o comando
gcloud transfer jobs create
. A criação de um novo job inicia a transferência especificada, a menos que uma
programação ou --do-not-run
seja especificado.
A CLI gcloud não aceita transferências por meio de CloudFront ou rede privada gerenciada.
gcloud transfer jobs create \
s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
--source-creds-file="relative_path/to/creds.json"
Em que:
S3_BUCKET_NAME é a fonte de dados dessa transferência; Você pode incluir um caminho opcionalmente:
s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME é o bucket do Cloud Storage a ser transferido. entrar. Para fazer a transferência para um diretório específico, especifique
gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/
, incluindo a barra final.--source-creds-file
especifica o caminho relativo para um arquivo local na sua máquina virtual que inclua credenciais da AWS para a origem da transferência. O conteúdo precisa estar no seguinte formato JSON:{ "accessKeyId": string, "secretAccessKey": string }
As opções adicionais incluem:
--do-not-run
impede que o Serviço de transferência do Cloud Storage execute o job após o envio do comando. Para executar o job, atualize-o para adicionar uma programação ou usejobs run
para iniciá-lo manualmente.--manifest-file
especifica o caminho para um arquivo CSV no Cloud Storage contendo uma lista de arquivos a serem transferidos da sua origem. Para formatar o arquivo de manifesto, consulte Transferir arquivos ou objetos específicos usando um manifesto.Informações do job: é possível especificar
--name
e--description
.Programação: especifique
--schedule-starts
,--schedule-repeats-every
e--schedule-repeats-until
ou--do-not-run
.Condições de objeto: use condições para determinar quais objetos são transferidos. Elas incluem
--include-prefixes
e--exclude-prefixes
, além das condições baseadas em tempo em--include-modified-[before | after]-[absolute | relative]
. Se você especificou uma pasta com a origem, os filtros de prefixo são relativos a essa pasta. Consulte Filtrar objetos de origem por prefixo para mais informações.Opções de transferência: especifique se você quer substituir os arquivos de destino (
--overwrite-when=different
oualways
) e se quer excluir determinados arquivos durante ou após a transferência (--delete-from=destination-if-unique
ousource-after-transfer
), especificar quais valores de metadados preservar (--preserve-metadata
) e, opcionalmente, definir uma classe de armazenamento em objetos transferidos (--custom-storage-class
).Notificações: configure as notificações de Pub/Sub para transferências com
--notification-pubsub-topic
,--notification-event-types
e--notification-payload-format
.Cloud Logging: ativar o Cloud Logging com
--log-actions
e--log-action-states
. Consulte Cloud Logging para o Serviço de transferência do Cloud Storage para mais detalhes.
Para ver todas as opções, execute gcloud transfer jobs create --help
ou consulte a
documentação de referência de gcloud
.
REST
Veja nas amostras a seguir como usar o Serviço de transferência do Cloud Storage com a API REST.
Ao configurar ou editar os jobs de transferência usando a API Storage Transfer Service, o horário precisa estar em UTC. Saiba como especificar a programação de um job de transferência em Programação.
Ao criar jobs de transferência, não inclua o prefixo s3://
no bucketName
dos nomes de origem do bucket do Amazon S3.
Transferência sem agente
O exemplo a seguir cria um job de transferência usando o configuração do Terraform. Consulte a transferJobs.create para mais detalhes.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Consulte Configurar o acesso a uma origem: Amazon S3 para outras opções de autenticação.
Distribuição do CloudFront
Se você estiver transferindo do S3 por uma distribuição do CloudFront, especifique
o nome de domínio de distribuição como o valor do campo
transferSpec.awsS3DataSource.cloudfrontDomain
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Rede privada gerenciada
Para transferir do S3 usando uma rede privada gerenciada pelo Google, especifique o
Campo transferSpec.awsS3DataSource.managedPrivateNetwork
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "managedPrivateNetwork": TRUE, "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Bibliotecas de cliente
Veja nas amostras a seguir como usar o Serviço de transferência do Cloud Storage de maneira programática com Go, Java, Node.js e Python.
Ao configurar ou editar jobs de transferência de maneira programática, o horário precisa estar em UTC. Saiba como especificar a programação de um job de transferência em Programação.
Para mais informações sobre as bibliotecas de cliente do Serviço de transferência do Cloud Storage, consulte Primeiros passos com as bibliotecas de cliente do Serviço de transferência do Cloud Storage.
Transferir do Amazon S3 para o Cloud Storage
Neste exemplo, você aprenderá a mover arquivos do Amazon S3 para um bucket do Cloud Storage.
Ao criar jobs de transferência, não inclua o prefixo s3://
no bucketName
dos nomes de origem do bucket do Amazon S3.
As bibliotecas de cliente do Serviço de transferência do Cloud Storage não aceitam transferências CloudFront ou rede privada gerenciada.
Go
Java
Procurando amostras mais antigas? Consulte o Guia de migração do serviço de transferência do Cloud Storage.
Node.js
Python
Procurando amostras mais antigas? Consulte o Guia de migração do serviço de transferência do Cloud Storage.