Questa pagina mostra come creare e avviare job di trasferimento da Amazon S3 a Cloud Storage.
Configura le autorizzazioni
Prima di creare un trasferimento, devi configurare le autorizzazioni sul bucket Amazon S3. Per maggiori dettagli, vedi Configurare l'accesso a un'origine: Amazon S3.
Devi anche configurare le autorizzazioni per le seguenti entità Google Cloud:
L'account utente utilizzato per creare il trasferimento. Questo è l'account a cui è stato eseguito l'accesso alla console Google Cloud o l'account specificato durante l'autenticazione nell'interfaccia a riga di comando "gcloud". L'account utente può essere un account utente normale o un account di servizio gestito dall'utente. | |
L'account di servizio gestito da Google, chiamato anche agente di servizio, utilizzato da Storage Transfer Service. Questo account è generalmente identificato dal suo indirizzo email, che utilizza il formato project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com .
|
Per le istruzioni, vedi Autorizzazioni di trasferimento senza agente.
Opzioni in uscita
Storage Transfer Service offre diverse opzioni per il trasferimento dei dati S3 in Cloud Storage.
Opzione in uscita | Descrizione |
---|---|
Senza agenti predefinito | Questa opzione utilizza un trasferimento gestito
senza agente da S3. Il traffico in uscita ti viene addebitato da Amazon.
Per utilizzare questa opzione, segui le istruzioni riportate in questa pagina. |
Distribuzione di CloudFront | Usa una distribuzione Amazon CloudFront
come percorso in uscita. I trasferimenti di dati tramite CloudFront possono
usufruire di costi inferiori per il traffico AWS in uscita rispetto al
trasferimento diretto da S3. Per i dettagli, consulta i prezzi di CloudFront e gli costi per il traffico S3 in uscita.
Segui le istruzioni riportate in Trasferimento da S3 tramite CloudFront per configurare la distribuzione e creare un trasferimento. |
Rete privata gestita | Trasferisci i tuoi dati su una rete
gestita da Google. Non paghi alcun costo per il traffico S3 in uscita; paghi invece una tariffa per GiB a Google Cloud. Consulta la pagina Prezzi
per i dettagli. Potresti comunque ricevere addebiti
per le operazioni da parte di AWS (ad es. chiamate LIST o GET );
consulta i prezzi relativi per i dettagli.
Tutti i trasferimenti dei progetti sulla rete privata gestita condividono la stessa larghezza di banda. In periodi di utilizzo elevato, il trasferimento potrebbe essere lento. I trasferimenti con file di grandi dimensioni sono più interessati rispetto a quelli con file piccoli. Per utilizzare questa opzione, segui le istruzioni riportate in questa pagina. Specifica l'opzione Rete privata gestita nella console Google Cloud o il campo managedPrivateNetwork nell'API REST. gcloud CLI e le librerie client non supportano i trasferimenti di rete privata gestiti. Vedi le regioni supportate. |
Basato su agente | Valido per tutti gli archivi compatibili con S3, incluso Amazon S3. Installando il software agente su macchine con accesso ai tuoi bucket S3, puoi controllare il percorso di rete e la larghezza di banda. Questa opzione richiede agenti
e pool di agenti.
Per utilizzare questa opzione, segui le istruzioni riportate in Trasferimento da origini compatibili con S3. |
Aree geografiche supportate
Storage Transfer Service supporta le seguenti regioni Amazon S3:
af-south-1 ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2 ap-southeast-3 |
ap-southeast-4 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2
|
eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1 us-east-1 us-east-2 us-west-1 us-west-2
|
I trasferimenti mediante la rete privata gestita supportano le seguenti regioni AWS:
us-east-1 us-east-2 us-west-1 us-west-2 ca-west-1 ca-central-1 |
Opzioni di trasferimento
Le seguenti funzionalità di Storage Transfer Service sono disponibili per i trasferimenti da S3 a Cloud Storage
- Trasferire file specifici utilizzando un manifest
- Puoi trasmettere un elenco di file su cui Storage Transfer Service deve intervenire. Per maggiori dettagli, consulta Trasferire file o oggetti specifici utilizzando un manifest.
- Specifica la classe di archiviazione
- Puoi specificare la
classe di archiviazione di Cloud Storage da utilizzare per i dati nel bucket
di destinazione. Consulta le opzioni
StorageClass
per i dettagli REST o utilizza il flag--custom-storage-class
con Google Cloud CLI.Tieni presente che le impostazioni della classe di archiviazione vengono ignorate se il bucket di destinazione ha Autoclass abilitato. Se Autoclass è abilitato, gli oggetti trasferiti nel bucket sono inizialmente impostati su Standard Storage.
- Conservazione dei metadati
-
Durante il trasferimento di file da S3, Storage Transfer Service può facoltativamente conservare alcuni attributi come metadati personalizzati.
Consulta la sezione Da Amazon S3 a Cloud Storage di Conservazione dei metadati per maggiori dettagli su quali metadati possono essere conservati e su come configurare il trasferimento.
- Trasferimenti basati su eventi
- Storage Transfer Service può ascoltare le notifiche degli eventi Amazon S3 inviate ad Amazon SQS per trasferire automaticamente i dati aggiunti o aggiornati nella posizione di origine. Per informazioni, consulta Trasferimenti basati su eventi.
- Logging e monitoraggio
- I trasferimenti da S3 possono essere visualizzati in Cloud Logging e Cloud Monitoring. Per i dettagli, consulta Cloud Logging per Storage Transfer Service e Monitorare i job di trasferimento. Puoi anche configurare le notifiche Pub/Sub.
Crea un trasferimento
Storage Transfer Service offre diverse interfacce tramite le quali creare un trasferimento.
Non includere informazioni sensibili come informazioni che consentono l'identificazione personale (PII) o dati di sicurezza nel nome del job di trasferimento. I nomi delle risorse possono essere propagati ai nomi di altre risorse Google Cloud e potrebbero essere esposti a sistemi interni di Google esterni al progetto.
Console Google Cloud
Vai alla pagina Storage Transfer Service nella console Google Cloud.
Fai clic su Crea job di trasferimento. Viene visualizzata la pagina Crea un job di trasferimento.
In Tipo di origine, seleziona Amazon S3.
Come Tipo di destinazione, seleziona Google Cloud Storage.
Seleziona la Modalità di pianificazione. I trasferimenti batch vengono eseguiti una tantum o su base pianificata. I trasferimenti basati su eventi monitorano continuamente l'origine e trasferiscono i dati quando vengono aggiunti o modificati.
Per configurare un trasferimento basato su eventi, segui le istruzioni in Trasferimenti basati su eventi.
Fai clic su Passaggio successivo.
Nel campo Nome bucket o cartella, inserisci il nome del bucket di origine.
Il nome del bucket è il nome visualizzato nella Console di gestione AWS.
Se utilizzi una distribuzione CloudFront per il trasferimento da S3, inserisci il nome di dominio di distribuzione nel campo Dominio CloudFront. Ad esempio,
https://dy1h2n3l4ob56.cloudfront.net
. Vedi Trasferimento da S3 tramite CloudFront per configurare una distribuzione CloudFront.Per utilizzare una rete privata gestita per questo trasferimento, seleziona la casella di controllo. Per informazioni dettagliate, consulta Opzioni in uscita.
Seleziona il metodo di autenticazione Amazon Web Services (AWS). Per maggiori dettagli, vedi Configurare l'accesso a un'origine: Amazon S3.
Access key (Chiave di accesso): inserisci la chiave di accesso nel campo Access key ID (ID chiave di accesso) e il secret associato alla chiave di accesso nel campo Secret access key (Chiave di accesso segreta).
Ruolo IAM AWS per la federazione delle identità: inserisci l'ARN nel campo ARN del ruolo IAM AWS con la seguente sintassi:
arn:aws:iam::ACCOUNT:role/ROLE-NAME-WITH-PATH
Dove:
ACCOUNT
: l'ID account AWS senza trattini.ROLE-NAME-WITH-PATH
: il nome del ruolo AWS, incluso il percorso.
Per saperne di più sugli ARN, consulta ARN IAM.
Risorsa secret: seleziona questa opzione per utilizzare una credenziale Amazon salvata in Secret Manager. Seleziona un secret dall'elenco o inseriscine uno manualmente nel formato
projects/PROJECT_NUMBER/secrets/SECRET_NAME
.
Se si tratta di un trasferimento basato su eventi, inserisci l'ARN della coda Amazon SQS, che assume il formato seguente:
arn:aws:sqs:us-east-1:1234567890:event-queue
- Facoltativamente, puoi
filtrare gli oggetti per prefisso
o in base alla data dell'ultima modifica. Se hai specificato una cartella come posizione di origine, i filtri per prefisso sono relativi a quella cartella. Ad esempio, se l'origine è
my-test-bucket/path/
, un filtro di inclusione difile
include tutti i file che iniziano conmy-test-bucket/path/file
. Fai clic su Passaggio successivo.
Nel campo Bucket o cartella, inserisci il nome del bucket e (facoltativamente) della cartella di destinazione oppure fai clic su Sfoglia per selezionare un bucket da un elenco di bucket esistenti nel progetto corrente. Per creare un nuovo bucket, fai clic su
Crea nuovo bucket.
Fai clic su Passaggio successivo.
Scegli le impostazioni per il job di trasferimento.
Nel campo Descrizione, inserisci una descrizione del trasferimento. Come best practice, inserisci una descrizione significativa e univoca in modo da poter distinguere i diversi job.
In Opzioni metadati, scegli di utilizzare le opzioni predefinite oppure fai clic su Visualizza e seleziona le opzioni per specificare i valori per tutti i metadati supportati. Per maggiori dettagli, consulta Conservazione dei metadati.
In Quando sovrascrivere, seleziona una delle seguenti opzioni:
Se diverso: sovrascrive i file di destinazione se il file di origine con lo stesso nome contiene valori Etag o checksum diversi.
Sempre: sovrascrive sempre i file di destinazione quando il file di origine ha lo stesso nome, anche se identici.
In Quando eliminare, seleziona una delle seguenti opzioni:
Mai: non eliminare mai i file dall'origine o dalla destinazione.
Elimina file dall'origine dopo il trasferimento: elimina i file dall'origine dopo il trasferimento alla destinazione.
Elimina i file dalla destinazione se non sono anche nell'origine: se anche i file nel bucket Cloud Storage di destinazione non sono presenti nell'origine, elimina i file dal bucket Cloud Storage.
Questa opzione garantisce che il bucket Cloud Storage di destinazione corrisponda esattamente alla tua origine.
In Opzioni di notifica, seleziona l'argomento Pub/Sub e gli eventi per cui inviare notifiche. Per ulteriori dettagli, vedi Notifiche Pub/Sub.
Fai clic su Passaggio successivo.
Scegli le opzioni di pianificazione:
Nell'elenco a discesa Esegui una volta, seleziona una delle seguenti opzioni:
Esegui una volta: esegue un singolo trasferimento, a partire dal momento selezionato.
Esegui ogni giorno: esegue un trasferimento ogni giorno, a partire dall'ora selezionata.
Puoi inserire una Data di fine facoltativa o lasciare vuoto il campo Data di fine per eseguire continuamente il trasferimento.
Esegui ogni settimana: esegue un trasferimento ogni settimana, a partire dall'ora selezionata.
Esegui con frequenza personalizzata: esegue un trasferimento con la frequenza da te selezionata. Puoi scegliere di ripetere il trasferimento a intervalli regolari di Ore, Giorni o Settimane.
Puoi inserire una Data di fine facoltativa o lasciare vuoto il campo Data di fine per eseguire continuamente il trasferimento.
Dall'elenco a discesa Inizia ora, seleziona una delle seguenti opzioni:
A partire da ora: avvia il trasferimento dopo aver fatto clic su Crea.
A partire dal giorno: avvia il trasferimento nella data e nell'ora selezionate. Fai clic su Calendario per visualizzare un calendario in cui selezionare la data di inizio.
Per creare il job di trasferimento, fai clic su Crea.
Interfaccia a riga di comando gcloud
Per creare un nuovo job di trasferimento, usa il comando gcloud transfer jobs create
. La creazione di un nuovo job avvia il trasferimento specificato, a meno che non sia specificata una pianificazione o --do-not-run
.
gcloud CLI non supporta i trasferimenti tramite CloudFront o la rete privata gestita.
gcloud transfer jobs create \
s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
--source-creds-file="relative_path/to/creds.json"
Dove:
S3_BUCKET_NAME è l'origine dati per questo trasferimento. Se vuoi, puoi includere un percorso:
s3://S3_BUCKET_NAME/S3_FOLDER_PATH
STORAGE_BUCKET_NAME è il bucket Cloud Storage in cui trasferire i dati. Per eseguire il trasferimento in una directory specifica, specifica
gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/
, inclusa la barra finale.--source-creds-file
specifica il percorso relativo di un file locale sulla tua macchina che include le credenziali AWS per l'origine di trasferimento. I contenuti devono essere nel seguente formato JSON:{ "accessKeyId": string, "secretAccessKey": string }
Altre opzioni includono:
--do-not-run
impedisce a Storage Transfer Service di eseguire il job all'invio del comando. Per eseguire il job, aggiornalo per aggiungere una pianificazione oppure utilizzajobs run
per avviarlo manualmente.--manifest-file
specifica il percorso di un file CSV in Cloud Storage contenente un elenco di file da trasferire dall'origine. Per la formattazione del file manifest, consulta Trasferire file o oggetti specifici utilizzando un file manifest.Informazioni job: puoi specificare
--name
e--description
.Pianificazione: specifica
--schedule-starts
,--schedule-repeats-every
e--schedule-repeats-until
o--do-not-run
.Condizioni degli oggetti: utilizza le condizioni per determinare quali oggetti vengono trasferiti. Queste includono
--include-prefixes
e--exclude-prefixes
e le condizioni basate sul tempo in--include-modified-[before | after]-[absolute | relative]
. Se hai specificato una cartella con l'origine, i filtri per prefisso sono relativi a quella cartella. Per ulteriori informazioni, consulta Filtrare gli oggetti di origine per prefisso.Opzioni di trasferimento: specifica se sovrascrivere i file di destinazione (
--overwrite-when=different
oalways
) e se eliminare determinati file durante o dopo il trasferimento (--delete-from=destination-if-unique
osource-after-transfer
); specifica i valori di metadati da conservare (--preserve-metadata
) e, facoltativamente, imposta una classe di archiviazione sugli oggetti trasferiti (--custom-storage-class
).Notifiche: configura le notifiche Pub/Sub per i trasferimenti con
--notification-pubsub-topic
,--notification-event-types
e--notification-payload-format
.Cloud Logging: abilita Cloud Logging con
--log-actions
e--log-action-states
. Per maggiori dettagli, consulta Cloud Logging per Storage Transfer Service.
Per visualizzare tutte le opzioni, esegui gcloud transfer jobs create --help
o consulta la
documentazione di riferimento gcloud
.
REST
Gli esempi riportati di seguito mostrano come utilizzare Storage Transfer Service tramite l'API REST.
Quando configuri o modifichi i job di trasferimento utilizzando l'API Storage Transfer Service, l'ora deve essere nel fuso orario UTC. Per ulteriori informazioni su come specificare la pianificazione di un job di trasferimento, consulta Pianificazione.
Quando crei job di trasferimento, non includere il prefisso s3://
per
bucketName
nei nomi delle origini dei bucket Amazon S3.
Trasferimento senza agente
L'esempio seguente crea un job di trasferimento utilizzando la configurazione senza agenti standard. Consulta il riferimento transferJobs.create per ulteriori dettagli.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Consulta Configurare l'accesso a un'origine: Amazon S3 per altre opzioni di autenticazione.
Distribuzione di CloudFront
Se il trasferimento da S3 avviene tramite una distribuzione CloudFront, specifica il nome di dominio di distribuzione come valore del campo transferSpec.awsS3DataSource.cloudfrontDomain
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Rete privata gestita
Per eseguire il trasferimento da S3 utilizzando una rete privata gestita da Google, specifica il campo transferSpec.awsS3DataSource.managedPrivateNetwork
:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "managedPrivateNetwork": TRUE, "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
Librerie client
Gli esempi riportati di seguito mostrano come utilizzare Storage Transfer Service in modo programmatico con Go, Java, Node.js e Python.
Quando configuri o modifichi i job di trasferimento in modo programmatico, l'ora deve essere nel fuso orario UTC. Per ulteriori informazioni su come specificare la pianificazione di un job di trasferimento, consulta Pianificazione.
Per saperne di più sulle librerie client di Storage Transfer Service, consulta la guida introduttiva alle librerie client di Storage Transfer Service.
Trasferimento da Amazon S3 a Cloud Storage
In questo esempio, imparerai come spostare i file da Amazon S3 a un bucket Cloud Storage.
Quando crei job di trasferimento, non includere il prefisso s3://
per
bucketName
nei nomi delle origini dei bucket Amazon S3.
Le librerie client di Storage Transfer Service non supportano i trasferimenti tramite CloudFront o la rete privata gestita.
Go
Java
Cerchi campioni precedenti? Consulta la guida alla migrazione di Storage Transfer Service.
Node.js
Python
Cerchi campioni precedenti? Consulta la guida alla migrazione di Storage Transfer Service.