Storage Transfer Service può ascoltare le notifiche degli eventi in AWS o Google Cloud per trasferire automaticamente i dati aggiunti o aggiornati nella posizione di origine. I trasferimenti basati su eventi sono supportati da AWS S3 o Cloud Storage a Cloud Storage.
I trasferimenti basati su eventi ascoltano le notifiche di eventi Amazon S3 inviate ad Amazon SQS per origini AWS S3. Le origini Cloud Storage inviano notifiche a una sottoscrizione Pub/Sub.
Vantaggi dei trasferimenti basati su eventi
I trasferimenti basati su eventi sono in ascolto delle modifiche al bucket di origine, pertanto gli aggiornamenti vengono copiati nella destinazione quasi in tempo reale. Storage Transfer Service non ha bisogno di eseguire un'operazione di elenco sull'origine, risparmiando tempo e denaro.
I casi d'uso includono:
Analisi basata su eventi: replica i dati da AWS a Cloud Storage per eseguire analisi ed elaborazione.
Replica Cloud Storage: abilita la replica automatica e asincrona degli oggetti tra bucket Cloud Storage.
I trasferimenti basati su eventi con Storage Transfer Service differiscono dalla tipica replica di Cloud Storage creando una copia dei tuoi dati in un bucket diverso.
Ciò offre vantaggi quali:
- Mantenere i dati di sviluppo e produzione in spazi dei nomi separati.
- Condivisione dei dati senza consentire l'accesso al bucket originale.
- Backup in un continente diverso o in un'area non coperta dallo spazio di archiviazione con due o più regioni.
Configurazione RE/HA: replica gli oggetti dall'origine alla destinazione di backup in ordine di minuti:
- Backup tra cloud: crea una copia del backup AWS S3 su Cloud Storage.
- Backup tra regioni o tra progetti: crea una copia del bucket Cloud Storage in un'altra regione o progetto.
Migrazione live: il trasferimento basato su eventi può favorire la migrazione a basso tempo di inattività, nell'ordine dei minuti di inattività, come passaggio di follow-up a una migrazione batch una tantum.
Configura trasferimenti basati su eventi da Cloud Storage
I trasferimenti basati su eventi da Cloud Storage utilizzano le notifiche Pub/Sub per sapere quando gli oggetti nel bucket di origine sono stati modificati o aggiunti. Le eliminazioni degli oggetti non vengono rilevate; l'eliminazione di un oggetto nell'origine non comporta l'eliminazione dell'oggetto associato nel bucket di destinazione.
Configura le autorizzazioni
Trova il nome dell'agente di servizio Storage Transfer Service per il tuo progetto:
Vai alla pagina di riferimento di
googleServiceAccounts.get
.Si apre un riquadro interattivo dal titolo Prova questo metodo.
Nel riquadro, in Parametri di richiesta, inserisci il tuo ID progetto. Il progetto specificato qui deve essere quello che stai utilizzando per gestire Storage Transfer Service, che potrebbe essere diverso dal progetto del bucket di origine.
Fai clic su Execute (Esegui).
L'indirizzo email dell'agente di servizio viene restituito con il valore
accountEmail
. Copia questo valore.L'email dell'agente di servizio utilizza il formato
project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com
.Concedi il ruolo
Pub/Sub Subscriber
all'agente di servizio Storage Transfer Service.console Cloud
Segui le istruzioni in Controllo dell'accesso tramite la console Google Cloud per concedere il ruolo
Pub/Sub Subscriber
al servizio Storage Transfer Service. Il ruolo può essere concesso a livello di argomento, abbonamento o progetto.Interfaccia a riga di comando
gcloud
Segui le istruzioni in Impostare un criterio per aggiungere la seguente associazione:
{ "role": "roles/pubsub.subscriber", "members": [ "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service.iam.gserviceaccount.com" }
Configurare Pub/Sub
Assicurati di soddisfare i prerequisiti per l'utilizzo di Pub/Sub con Cloud Storage.
Configura la notifica Pub/Sub per Cloud Storage:
gcloud storage buckets notifications create gs://BUCKET_NAME --topic=TOPIC_NAME
Crea una sottoscrizione pull per l'argomento:
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300
Creare un job di trasferimento
Puoi utilizzare l'API REST o la console Google Cloud per creare un job di trasferimento basato su eventi.
Non includere informazioni sensibili come informazioni che consentono l'identificazione personale o dati di sicurezza nel nome del job di trasferimento. I nomi delle risorse possono essere propagati ai nomi di altre risorse Google Cloud ed essere esposti ai sistemi interni di Google al di fuori del tuo progetto.
console Cloud
Vai alla pagina Crea job di trasferimento nella console Google Cloud.
Seleziona Cloud Storage come origine e destinazione.
Nella modalità di pianificazione, seleziona Basato su eventi e fai clic su Passaggio successivo.
Seleziona il bucket di origine per questo trasferimento.
Nella sezione Stream di eventi, inserisci il nome dell'abbonamento:
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
(Facoltativo) Definisci i filtri e fai clic su Passaggio successivo.
Seleziona il bucket di destinazione per questo trasferimento.
(Facoltativo) Inserisci un'ora di inizio e di fine per il trasferimento. Se non specifichi un'ora, il trasferimento inizierà immediatamente e verrà eseguito fino all'arresto manuale.
Specifica le opzioni di trasferimento. Ulteriori informazioni sono disponibili nella pagina Crea trasferimenti.
Fai clic su Crea.
Una volta creato, il job di trasferimento viene eseguito e un listener di eventi attende le notifiche sulla sottoscrizione Pub/Sub. La pagina dei dettagli del job mostra un'operazione ogni ora e include i dettagli sui dati trasferiti per ogni job.
REST
Per creare un trasferimento basato su eventi utilizzando l'API REST, invia il seguente oggetto JSON all'endpoint transferJobs.create:
transfer_job { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec" { "gcsDataSource" { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } "eventStream" { "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
I eventStreamStartTime
e i eventStreamExpirationTime
sono facoltativi.
Se ometti l'ora di inizio, il trasferimento inizia immediatamente; se viene omessa l'ora di fine, il trasferimento continua fino all'arresto manuale.
Librerie client
Go
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Go di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Configura trasferimenti basati su eventi da AWS S3
I trasferimenti basati su eventi da AWS S3 utilizzano le notifiche di Amazon Simple Queue Service (SQS) per sapere quando gli oggetti nel bucket di origine sono stati modificati o aggiunti. Le eliminazioni degli oggetti non vengono rilevate; l'eliminazione di un oggetto nell'origine non comporta l'eliminazione dell'oggetto associato nel bucket di destinazione.
Crea una coda SQS
Nella console AWS, vai alla pagina Simple Queue Service.
Fai clic su Crea coda.
Inserisci un nome per questa coda.
Nella sezione Criterio di accesso, seleziona Avanzate. Viene visualizzato un oggetto JSON:
{ "Version": "2008-10-17", "Id": "__default_policy_ID", "Statement": [ { "Sid": "__owner_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws:sqs:us-west-2:01234567890:test" } ] }
I valori di
AWS
eResource
sono univoci per ogni progetto.Copia i valori specifici di
AWS
eResource
dal JSON visualizzato nel seguente snippet JSON:{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "S3_BUCKET_ARN" } } } ] }
I valori dei segnaposto nel JSON precedente utilizzano il seguente formato:
- AWS è un valore numerico che rappresenta il tuo progetto Amazon Web Services. Ad esempio,
"aws:SourceAccount": "1234567890"
. - RESOURCE è un Amazon Resource Number (ARN) che identifica questa coda. Ad esempio,
"Resource": "arn:aws:sqs:us-west-2:01234567890:test"
. - S3_BUCKET_ARN è un ARN che identifica il bucket di origine. Ad esempio,
"aws:SourceArn": "arn:aws:s3:::example-aws-bucket"
. Puoi trovare l'ARN di un bucket nella scheda Proprietà della pagina dei dettagli del bucket nella console AWS.
- AWS è un valore numerico che rappresenta il tuo progetto Amazon Web Services. Ad esempio,
Sostituisci il JSON visualizzato nella sezione Criterio di accesso con il JSON aggiornato in alto.
Fai clic su Crea coda.
Al termine, prendi nota dell'Amazon Resource Name (ARN) della coda. L'ARN ha il seguente formato:
arn:aws:sqs:us-east-1:1234567890:event-queue"
Abilita le notifiche sul bucket S3
Nella console AWS, vai alla pagina S3.
Nell'elenco Bucket, seleziona il bucket di origine.
Seleziona la scheda Proprietà.
Nella sezione Notifiche di eventi, fai clic su Crea notifica di evento.
Specifica un nome per l'evento.
Nella sezione Tipi di evento, seleziona Tutti gli eventi di creazione di oggetti.
Come Destinazione, seleziona Coda SQL e seleziona la coda che hai creato per questo trasferimento.
Fai clic su Salva modifiche.
Configura le autorizzazioni
Segui le istruzioni in Configurare l'accesso a un'origine: Amazon S3 per creare un ID chiave di accesso e una chiave segreta o un ruolo di Federated Identity.
Sostituisci il codice JSON delle autorizzazioni personalizzate con il seguente:
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::AWS_BUCKET_NAME", "arn:aws:s3:::AWS_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
Dopo averlo creato, tieni presente le seguenti informazioni:
- Per un utente, prendi nota dell'ID della chiave di accesso e della chiave segreta.
- Per un ruolo Federated Identity, prendi nota di Amazon Resource Name (ARN),
che ha il formato
arn:aws:iam::AWS_ACCOUNT:role/ROLE_NAME
.
Creare un job di trasferimento
Puoi utilizzare l'API REST o la console Google Cloud per creare un job di trasferimento basato su eventi.
console Cloud
Vai alla pagina Crea job di trasferimento nella console Google Cloud.
Seleziona Amazon S3 come tipo di origine e Cloud Storage come destinazione.
Nella modalità di pianificazione, seleziona Basato su eventi e fai clic su Passaggio successivo.
Inserisci il nome del bucket S3. Il nome del bucket è il nome visualizzato nella Console di gestione AWS. Ad esempio,
my-aws-bucket
.Seleziona il metodo di autenticazione e inserisci le informazioni richieste, che hai creato e annotato nella sezione precedente.
Inserisci l'ARN della coda Amazon SQS che hai creato in precedenza. Utilizza il seguente formato:
arn:aws:sqs:us-east-1:1234567890:event-queue"
(Facoltativo) Definisci i filtri e fai clic su Passaggio successivo.
Seleziona il bucket Cloud Storage di destinazione e, facoltativamente, il percorso.
(Facoltativo) Inserisci un'ora di inizio e di fine per il trasferimento. Se non specifichi un'ora, il trasferimento inizierà immediatamente e verrà eseguito fino all'arresto manuale.
Specifica le opzioni di trasferimento. Ulteriori informazioni sono disponibili nella pagina Crea trasferimenti.
Fai clic su Crea.
Una volta creato, il job di trasferimento viene eseguito e un listener di eventi attende le notifiche nella coda SQS. La pagina dei dettagli del job mostra un'operazione ogni ora e include i dettagli sui dati trasferiti per ogni job.
REST
Per creare un trasferimento basato su eventi utilizzando l'API REST, invia il seguente oggetto JSON all'endpoint transferJobs.create:
transfer_job { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec" { "awsS3DataSource" { "bucketName": "AWS_SOURCE_NAME", "roleArn": "arn:aws:iam::1234567891011:role/role_for_federated_auth" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } "eventStream" { "name": "arn:aws:sqs:us-east-1:1234567891011:s3-notification-queue", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
I eventStreamStartTime
e i eventStreamExpirationTime
sono facoltativi.
Se ometti l'ora di inizio, il trasferimento inizia immediatamente; se viene omessa l'ora di fine, il trasferimento continua fino all'arresto manuale.
Librerie client
Go
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Go di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare e utilizzare la libreria client per Storage Transfer Service, consulta librerie client di Storage Transfer Service. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Python di Storage Transfer Service.
Per eseguire l'autenticazione in Storage Transfer Service, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.