Questa pagina descrive come completare una semplice migrazione da Amazon Simple Storage Service (Amazon S3) a di archiviazione ideale in Cloud Storage. In una semplice migrazione, utilizzi gli strumenti e i librerie per la generazione di richieste REST autenticate in Amazon S3 le richieste autenticate a Cloud Storage.
Se non hai mai utilizzato Cloud Storage e non utilizzerai direttamente l'API, Valuta la possibilità di utilizzare la console Google Cloud per configurare e gestire i trasferimenti. La console Google Cloud fornisce un'interfaccia grafica per Cloud Storage che ti consente di svolgere molte attività di archiviazione utilizzando solo un browser, inclusa la migrazione dei dati da Amazon S3 a Cloud Storage.
Se vuoi che Cloud Storage archivi un backup dei tuoi dati di Amazon S3, valuta la possibilità di utilizzare i trasferimenti basati sugli eventi, che utilizzano le notifiche degli eventi Amazon S3 per mantenere automaticamente sincronizzato un bucket Cloud Storage con la tua origine Amazon S3.
Esegui la migrazione da Amazon S3 a Cloud Storage in uno scenario di migrazione semplice
Per effettuare richieste a Cloud Storage, devi completare il seguenti passaggi:
- Imposta un progetto Google Cloud predefinito.
- Ottieni una chiave HMAC (codice di autenticazione dei messaggi basato su hash).
Apporta le seguenti modifiche negli strumenti o nelle librerie esistenti:
- Cambia l'endpoint della richiesta per utilizzare Cloud Storage Endpoint richiesta API XML.
- Sostituisci la chiave di accesso e la chiave segreta di Amazon Web Services (AWS) con l'ID di accesso e il segreto di Cloud Storage corrispondente (chiamati collettivamente chiave HMAC di Cloud Storage).
Assicurati che le intestazioni
x-amz-
utilizzino il servizio Cloud Storage supportato e i relativi valori. Ad esempio,x-amz-storage-class
deve utilizzare una delle classi di archiviazione Cloud Storage disponibili.Quando utilizzi l'API XML di Cloud Storage in uno scenario di migrazione semplice, specificando l'identificatore della firma
AWS
nell'intestazioneAuthorization
, Cloud Storage sa che deve aspettarsi intestazionix-amz-*
e sintassi XML ACL di Amazon S3 nella richiesta. Cloud Storage elabora le intestazionix-amz-*
che hanno un corrispondentex-goog-*
, ad esempio quelle elencate nella tabella delle intestazioni.
Dopo aver apportato queste modifiche, puoi iniziare a utilizzare gli strumenti e i per inviare richieste HMAC a Cloud Storage.
Ad esempio, i seguenti esempi mostrano come elencare Bucket Cloud Storage con l'SDK Amazon S3:
Go
Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Cloud Storage Go.
Per autenticarti a Cloud Storage, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Java
Per ulteriori informazioni, consulta API Cloud Storage Java documentazione di riferimento.
Per autenticarti a Cloud Storage, configura le credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per ulteriori informazioni, consulta API Cloud Storage Python documentazione di riferimento.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Impostare un progetto predefinito
Per utilizzare Cloud Storage in uno scenario di migrazione semplice, ti consigliamo di impostare un progetto predefinito, che Cloud Storage utilizza per eseguire determinate operazioni, come il servizio GET
o il bucket PUT
. Se
Non impostare un progetto predefinito, devi specificare un'intestazione del progetto.
in alcune richieste.
Per impostare un progetto predefinito:
- Apri la pagina Impostazioni di Cloud Storage nella console Google Cloud.
- Seleziona la scheda Interoperabilità.
Fai clic su Imposta PROJECT-ID come progetto predefinito, che si trova nella nella sezione Progetto predefinito per l'accesso interoperabile.
Se il progetto è già quello predefinito, viene visualizzato PROJECT-ID è il tuo progetto predefinito per l'accesso interoperabile.
Questo progetto è ora il progetto predefinito. Puoi modificare il progetto predefinito in qualsiasi momento scegliendone un altro e seguendo questi passaggi.
In alternativa, specifica un'intestazione del progetto
Invece di, o in aggiunta a, impostare un progetto predefinito, puoi utilizzare
x-amz-project-id
nelle singole richieste che richiedono di specificare un
progetto.
- Una richiesta che usa
x-amz-project-id
usa il progetto specificato in anche se esiste già un progetto predefinito.
L'intestazione x-amz-project-id
è utile quando:
- Stai lavorando con più progetti.
- Le tue richieste vengono effettuate da un account di servizio associato a un altro perché gli account di servizio usano il progetto padre come predefinito progetto.
Tieni presente che Amazon S3 non ha progetti, perciò a seconda degli strumenti
o le librerie client che utilizzi, specificando un'intestazione x-amz-project-id
potrebbe non essere
un'opzione. In questo caso, devi impostare un progetto predefinito.
Utilizza chiavi HMAC
Per utilizzare l'API XML di Cloud Storage in uno scenario di migrazione semplice, utilizza le chiavi HMAC (Hash-based Message Authentication Code) di Cloud Storage per le credenziali. In genere, devi creare una chiave HMAC che sia associate a un account di servizio; ma in alternativa puoi usarne uno associati a un account utente.
Autenticazione in un semplice scenario di migrazione
Utilizzare l'intestazione Autorizzazione
Per le operazioni in uno scenario di migrazione semplice che richiedono l'autenticazione, devi includere un'intestazione della richiesta Authorization
, come per le richieste ad Amazon S3. La sintassi dell'intestazione Authorization
per una richiesta Amazon S3 è:
Authorization: AWS4-HMAC-SHA256 Credential=AWS-ACCESS-KEY/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
In uno scenario di migrazione semplice, è sufficiente modificare l'intestazione per utilizzare
ID accesso HMAC di Cloud Storage e assicurati che il Signature
che colleghi
viene calcolata con la tua chiave secret HMAC di Cloud Storage:
Authorization: ALGORITHM Credential=GOOG-ACCESS-ID/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
Le parti dell'intestazione Authorization
sono:
ALGORITHM: l'algoritmo e la versione della firma che stai utilizzando. L'utilizzo di
AWS4-HMAC-SHA256
indica che stai utilizzando una firma HMAC V4 e che intendi inviare intestazionix-amz-*
. Puoi anche utilizzareGOOG4-HMAC-SHA256
, che indica che stai utilizzando una firma HMAC V4 e intendi inviare intestazionix-goog-*
, oppureGOOG4-RSA-SHA256
, che indica che stai utilizzando una firma RSA V4 e intendi inviare intestazionix-goog-*
.GOOG-ACCESS-ID: l'ID accesso identifica l'entità che sta elaborando e firmando la richiesta. In una migrazione semplice, sostituisci l'ID chiave di accesso di Amazon Web Service (AWS) che utilizzi per accedere ad Amazon S3 con il tuo ID accesso HMAC di Cloud Storage. L'ID accesso HMAC di Cloud Storage inizia con
GOOG
.CREDENTIAL_SCOPE: l'ambito delle credenziali, come definito nella firma. In una semplice migrazione, non è necessario cambia l'ambito delle credenziali se utilizzi
AWS4-HMAC-SHA256
per Valore ALGORITHM.SIGNED_HEADERS: un elenco di nomi delle intestazioni separati da punto e virgola che devono essere inclusi per firmare questa richiesta. Tutte le intestazioni devono essere in minuscolo e ordinate per codice carattere.
Un esempio di stringa di intestazione firmata in stile Amazon S3 è il seguente:
content-type;host;x-amz-date
In una semplice migrazione, non è necessario apportare modifiche al stringa di intestazione.
SIGNATURE: la firma che consente di autenticare la richiesta. In una semplice migrazione, sostituisci la chiave di accesso AWS con le informazioni chiave HMAC Cloud Storage equivalenti.
Esempio di richiesta di autenticazione
I seguenti esempi caricano un oggetto denominato /europe/france/paris.jpg
in un
bucket denominato my-travel-maps
, applicare l'ACL predefinito public-read
e definire un'intestazione di metadati
personalizzata per i revisori. Ecco la richiesta a un bucket
in Amazon S3:
PUT europe/france/paris.jpg HTTP/1.1 Host: my-travel-maps.s3.amazonaws.com Date: Mon, 11 Mar 2019 23:46:19 GMT Content-Length: 888814 Content-Type: image/jpg x-amz-acl: public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer: joe,jane Authorization: AWS4-HMAC-SHA256 Credential=AWS-ACCESS-KEY/20190311/us-east-1/s3/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-acl;x-amz-date;x-amz-meta-reviewer, Signature=SIGNATURE
Ecco la richiesta di un bucket in Cloud Storage:
PUT europe/france/paris.jpg HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Mon, 11 Mar 2019 23:46:19 GMT Content-Length: 888814 Content-Type: image/jpg x-amz-acl: public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer: joe,jane Authorization: AWS4-HMAC-SHA256 Credential=GOOG-ACCESS-ID/20190311/us-east-1/s3/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-acl;x-amz-date;x-amz-meta-reviewer, Signature=SIGNATURE
Ecco la richiesta canonica corrispondente creata per questa richiesta:
PUT /europe/france/paris.jpg content-length:888814 content-type:image/jpg host:my-travel-maps.storage.googleapis.com x-amz-acl:public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer:joe,jane content-length,content-type,host,x-amz-acl,x-amz-date,x-amz-meta-reviewer 82e3da8b3f35989512e8d428add7eca73ab0e5f36586e66fbad8e1051343cbd2
Ecco la stringa-to-sign corrispondente creata per questa richiesta:
AWS4-HMAC-SHA256 20190311T192918Z 20190311/us-east-1/s3/aws4_request 73918a5ff373d7a03e406fbf9ea35675396b06fca2af76c27a5c451fa783ef65
Questa richiesta non ha fornito un'intestazione Content-MD5, pertanto viene visualizzata una stringa vuota nella seconda riga del messaggio.
Controllo dell'accesso in uno scenario di migrazione semplice
Per supportare migrazioni semplici, Cloud Storage accetta ACL generati
Amazon S3. In uno scenario di migrazione semplice, utilizzi AWS
come firma
che indica a Cloud Storage di aspettarsi la sintassi ACL utilizzando
Sintassi XML ACL Amazon S3. Devi assicurarti che le ACL di Amazon S3 che utilizzi siano mappate al modello ACL di Cloud Storage. Ad esempio, se i tuoi strumenti e
utilizzano la sintassi ACL di Amazon S3 per concedere l'autorizzazione WRITE
al bucket, quindi
deve anche concedere al bucket l'autorizzazione READ
perché Cloud Storage
autorizzazioni sono concentriche. Non è necessario specificare sia l'autorizzazione WRITE
che
READ
quando concedi l'autorizzazione WRITE
utilizzando la
sintassi di Cloud Storage.
Cloud Storage supporta la sintassi ACL di Amazon S3 nei seguenti scenari:
- In una richiesta a Cloud Storage per recuperare gli ACL (ad esempio una richiesta di
GET
oggetto oGET
bucket), Cloud Storage restituisce la sintassi dell'ACL di Amazon S3. - In una richiesta a Cloud Storage di applicare ACL (ad esempio, un
PUT
richiesta di oggetto o bucketPUT
), Cloud Storage prevede di ricevere Sintassi ACL di Amazon S3.
L'intestazione Authorization
in uno scenario di migrazione semplice utilizza AWS
per l'identificatore della firma, ma con il tuo ID di accesso Google.
Authorization: AWS4-HMAC-SHA256 Credential=GOOG-ACCESS-ID/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
L'esempio seguente mostra una richiesta GET
da restituire a Cloud Storage
gli ACL di un oggetto.
GET europe/france/paris.jpg?acl HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Thu, 21 Feb 2019 23:50:10 GMT Content-Type: application/xml X-Amz-Date: 20190221T235010Z Authorization: AWS4-HMAC-SHA256 Credential=GOOGMC5PDPA5JLZYQMHQHRAX/20190221/region/s3/aws4_request, SignedHeaders=host;x-amz-date, Signature=29088b1d6dfeb2549f6ff67bc3744abb7e45475f0ad60400485805415bbfc534
La risposta alla richiesta include l'ACL che utilizza la sintassi ACL di Amazon S3.
<?xml version='1.0' encoding='UTF-8'?> <AccessControlPolicy> <Owner> <ID>00b4903a972faa8bcce9382686e9129676f1cd6e5def1f5663affc2ba4652490 </ID> <DisplayName>OwnerName</DisplayName> </Owner> <AccessControlList> <Grant> <Grantee xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:type='CanonicalUser'> <ID>00b4903a972faa8bcce9382686e9129676f1cd6e5def1f5663affc2ba4652490</ID> <DisplayName>UserName</DisplayName> </Grantee> <Permission>FULL_CONTROL</Permission> </Grant> </AccessControlList> </AccessControlPolicy>
L'esempio seguente mostra una richiesta PUT
a Cloud Storage da impostare
gli ACL di un oggetto. L'esempio mostra il corpo di una richiesta con Amazon S3
Sintassi ACL.
PUT europe/france/paris.jpg?acl HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Thu, 21 Feb 2019 23:50:10 GMT Content-Type: application/xml Content-Length: 337 X-Amz-Date: 20190221T235010Z Authorization: AWS4-HMAC-SHA256 Credential=GOOGMC5PDPA5JLZYQMHQHRAX/20190221/region/s3/aws4_request, SignedHeaders=host;x-amz-date, Signature=29088b1d6dfeb2549f6ff67bc3744abb7e45475f0ad60400485805415bbfc534 <?xml version='1.0' encoding='utf-8'?> <AccessControlPolicy> <AccessControlList> <Grant> <Grantee xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="AmazonCustomerByEmail"> <EmailAddress>jane@gmail.com</EmailAddress> </Grantee> <Permission>FULL_CONTROL</Permission> </Grant> </AccessControlList> </AccessControlPolicy>
Infine, in uno scenario di migrazione semplice, puoi anche utilizzare l'identificatore della firma GOOG1
nell'intestazione Authorization
. In questo caso, devi utilizzare la classe
Sintassi ACL di Cloud Storage e assicurati che tutte le intestazioni x-amz-*
sono stati modificati in x-goog-*
. Sebbene sia possibile, ti consigliamo di scegliere
una migrazione completa per poter utilizzare tutti i vantaggi
di archiviazione ideale in Cloud Storage.
Supporto per la compatibilità dell'API XML con Amazon S3
Per discussioni sull'interoperabilità delle API XML, visita Stack Overflow utilizzando il tag google-cloud-storage.
Passaggi successivi
- Pianifica una migrazione da Amazon S3.
- Trasferisci i dati in Cloud Storage da origini esterne, ad esempio come Amazon S3 e Microsoft Azure Blob Storage, usando Storage Transfer Service.
- Crea trasferimenti basati sugli eventi che utilizzano le notifiche evento Amazon S3 per mantenere un bucket Cloud Storage sincronizzato con Amazon S3.