Questa pagina descrive come completare una migrazione semplice da Amazon Simple Storage Service (Amazon S3) a Cloud Storage. Con una semplice migrazione, utilizzerai gli strumenti e le librerie esistenti per generare richieste REST autenticate ad Amazon S3 per inviare invece richieste autenticate a Cloud Storage.
Se non hai mai utilizzato Cloud Storage e non utilizzerai direttamente l'API, valuta la possibilità di utilizzare la console Google Cloud per configurare e gestire i trasferimenti. La console Google Cloud fornisce un'interfaccia grafica a Cloud Storage che ti consente di eseguire molte delle tue attività di archiviazione utilizzando un solo browser, inclusa la migrazione dei dati da Amazon S3 a Cloud Storage.
Se vuoi che Cloud Storage archivi un backup dei tuoi dati Amazon S3, valuta la possibilità di utilizzare i trasferimenti basati su eventi, che utilizzano le notifiche degli eventi Amazon S3 per mantenere automaticamente sincronizzato un bucket Cloud Storage con l'origine Amazon S3.
Migrazione da Amazon S3 a Cloud Storage in un semplice scenario di migrazione
Per effettuare richieste a Cloud Storage, devi completare questi passaggi:
- Imposta un progetto Google Cloud predefinito.
- Ottieni una chiave HMAC (codice di autenticazione dei messaggi basato su hash).
Apporta le seguenti modifiche negli strumenti o nelle librerie esistenti:
- Modifica l'endpoint della richiesta in modo da utilizzare l'endpoint di richiesta API XML di Cloud Storage.
- Sostituisci la chiave segreta e l'accesso ad Amazon Web Services (AWS) con l'ID di accesso e il secret di Cloud Storage corrispondenti (collettivamente chiamati chiave HMAC di Cloud Storage).
Assicurati che le intestazioni
x-amz-
utilizzino valori supportati di Cloud Storage. Ad esempio,x-amz-storage-class
dovrebbe utilizzare una delle classi di archiviazione di Cloud Storage disponibili.Quando utilizzi l'API XML di Cloud Storage in un semplice scenario di migrazione, specificando l'identificatore di firma
AWS
nell'intestazioneAuthorization
consenti a Cloud Storage di prevedere le intestazionix-amz-*
e la sintassi XML ACL di Amazon S3 nella tua richiesta. Cloud Storage elaborax-amz-*
intestazioni che hanno un equivalentex-goog-*
, come quelle elencate nella tabella delle intestazioni.
Dopo aver apportato queste modifiche, puoi iniziare a utilizzare gli strumenti e le librerie esistenti per inviare richieste HMAC a Cloud Storage.
Ad esempio, gli esempi seguenti mostrano come elencare i bucket Cloud Storage utilizzando l'SDK Amazon S3:
Go
Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Go di Cloud Storage.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Cloud Storage.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Python di Cloud Storage.
Per eseguire l'autenticazione su Cloud Storage, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Imposta un progetto predefinito
Per utilizzare Cloud Storage in uno scenario di migrazione semplice, è consigliabile impostare un progetto predefinito, che Cloud Storage utilizza per eseguire determinate operazioni, come il servizio GET
o il bucket PUT
. Se non imposti un progetto predefinito, devi specificare un'intestazione del progetto in determinate richieste.
Per impostare un progetto predefinito:
- Apri la pagina Impostazioni di Cloud Storage nella console Google Cloud.
- Seleziona la scheda Interoperabilità.
Fai clic su Imposta PROJECT-ID come progetto predefinito, che si trova nella sezione Progetto predefinito per l'accesso interoperabile.
Se il progetto è già il progetto predefinito, vedrai PROJECT-ID è il progetto predefinito per l'accesso interoperabile.
Questo progetto è ora il tuo progetto predefinito. Puoi modificare il progetto predefinito in qualsiasi momento scegliendone un altro e seguendo questi passaggi.
In alternativa, specifica un'intestazione di progetto
Anziché o in aggiunta a impostare un progetto predefinito, puoi utilizzare l'intestazione x-amz-project-id
nelle singole richieste che richiedono di specificare un progetto.
- Una richiesta che usa
x-amz-project-id
usa il progetto specificato nell'intestazione, anche se esiste già un progetto predefinito.
L'intestazione x-amz-project-id
è utile quando:
- Stai lavorando con più progetti.
- Le richieste vengono effettuate da un account di servizio associato a un progetto diverso, perché gli account di servizio utilizzano il progetto principale come progetto predefinito.
Tieni presente che Amazon S3 non ha progetti, quindi, a seconda degli strumenti o delle librerie client che utilizzi, potrebbe non essere possibile specificare un'intestazione x-amz-project-id
. In questo caso, devi impostare un progetto predefinito.
Utilizza chiavi HMAC
Per utilizzare l'API XML di Cloud Storage in uno scenario di migrazione semplice, utilizza le chiavi HMAC (Hash-based Message Authentication Code) di Cloud Storage per le credenziali. In genere, dovresti creare una chiave HMAC associata a un account di servizio. In alternativa, puoi utilizzarne una associata a un account utente.
Autenticazione in un semplice scenario di migrazione
Utilizzare l'intestazione Autorizzazione
Per le operazioni in uno scenario di migrazione semplice che richiedono l'autenticazione, includi un'intestazione della richiesta Authorization
proprio come fai per le richieste ad Amazon S3. La sintassi dell'intestazione Authorization
per una richiesta Amazon S3 è:
Authorization: AWS4-HMAC-SHA256 Credential=AWS-ACCESS-KEY/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
In uno scenario di migrazione semplice, modifichi l'intestazione solo in modo da utilizzare il tuo ID di accesso HMAC di Cloud Storage e ti assicuri che il valore Signature
che colleghi venga calcolato con la tua chiave secret HMAC di Cloud Storage:
Authorization: ALGORITHM Credential=GOOG-ACCESS-ID/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
Le parti dell'intestazione Authorization
sono:
ALGORITHM: l'algoritmo di firma e la versione che stai utilizzando. L'utilizzo di
AWS4-HMAC-SHA256
indica che utilizzi una firma HMAC V4 e intendi inviare intestazionix-amz-*
. Puoi anche utilizzareGOOG4-HMAC-SHA256
, che indica che utilizzi una firma HMAC V4 e intendi inviare intestazionix-goog-*
, oppureGOOG4-RSA-SHA256
, che indica che stai utilizzando una firma RSA V4 e intendi inviare intestazionix-goog-*
.GOOG-ACCESS-ID: l'ID accesso identifica l'entità che sta creando e firmando la richiesta. In una semplice migrazione, sostituisci l'ID della chiave di accesso ad Amazon Web Service (AWS) utilizzato per accedere ad Amazon S3 con l'ID di accesso HMAC di Cloud Storage. L'ID accesso HMAC di Cloud Storage inizia con
GOOG
.CREDENTIAL_SCOPE: l'ambito delle credenziali, come definito nella firma. In una semplice migrazione, non è necessario modificare l'ambito delle credenziali se utilizzi
AWS4-HMAC-SHA256
per il valore ALGORITHM.SIGNED_HEADERS: un elenco di nomi delle intestazioni separati da punto e virgola da includere per firmare la richiesta. Tutte le intestazioni devono essere minuscole e ordinate per codice carattere.
Ecco un esempio di stringa di intestazione firmata in stile Amazon S3:
content-type;host;x-amz-date
In una semplice migrazione, non è necessario apportare modifiche alla stringa dell'intestazione firmata.
SIGNATURE: la firma che consente di autenticare la richiesta. In una semplice migrazione, sostituisci le informazioni della chiave di accesso AWS con le informazioni della chiave HMAC Cloud Storage equivalenti.
Esempio di richiesta di autenticazione
Gli esempi seguenti caricano un oggetto denominato /europe/france/paris.jpg
in un bucket denominato my-travel-maps
, applicano l'ACL predefinito public-read
e definisci un'intestazione di metadati personalizzata per i revisori. Ecco la richiesta a un bucket in Amazon S3:
PUT europe/france/paris.jpg HTTP/1.1 Host: my-travel-maps.s3.amazonaws.com Date: Mon, 11 Mar 2019 23:46:19 GMT Content-Length: 888814 Content-Type: image/jpg x-amz-acl: public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer: joe,jane Authorization: AWS4-HMAC-SHA256 Credential=AWS-ACCESS-KEY/20190311/us-east-1/s3/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-acl;x-amz-date;x-amz-meta-reviewer, Signature=SIGNATURE
Ecco la richiesta per un bucket in Cloud Storage:
PUT europe/france/paris.jpg HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Mon, 11 Mar 2019 23:46:19 GMT Content-Length: 888814 Content-Type: image/jpg x-amz-acl: public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer: joe,jane Authorization: AWS4-HMAC-SHA256 Credential=GOOG-ACCESS-ID/20190311/us-east-1/s3/aws4_request, SignedHeaders=content-length;content-type;host;x-amz-acl;x-amz-date;x-amz-meta-reviewer, Signature=SIGNATURE
Ecco la richiesta canonica corrispondente creata per questa richiesta:
PUT /europe/france/paris.jpg content-length:888814 content-type:image/jpg host:my-travel-maps.storage.googleapis.com x-amz-acl:public-read x-amz-date:20190311T192918Z x-amz-meta-reviewer:joe,jane content-length,content-type,host,x-amz-acl,x-amz-date,x-amz-meta-reviewer 82e3da8b3f35989512e8d428add7eca73ab0e5f36586e66fbad8e1051343cbd2
Ecco la stringa-to-sign corrispondente creata per questa richiesta:
AWS4-HMAC-SHA256 20190311T192918Z 20190311/us-east-1/s3/aws4_request 73918a5ff373d7a03e406fbf9ea35675396b06fca2af76c27a5c451fa783ef65
Questa richiesta non ha fornito un'intestazione Content-MD5, quindi nella seconda riga del messaggio viene visualizzata una stringa vuota.
Controllo dell'accesso in uno scenario di migrazione semplice
Per supportare migrazioni semplici, Cloud Storage accetta ACL prodotti da
Amazon S3. In un semplice scenario di migrazione, utilizzi AWS
come identificatore
di firma, che indica a Cloud Storage di prevedere la sintassi ACL utilizzando
la sintassi XML ACL di Amazon S3. Devi assicurarti che gli ACL Amazon S3 che utilizzi
siano mappati al modello ACL di Cloud Storage. Ad esempio, se i tuoi strumenti e
le librerie utilizzano la sintassi ACL di Amazon S3 per concedere l'autorizzazione WRITE
al bucket, devono anche concedere l'autorizzazione READ
al bucket perché le autorizzazioni
di Cloud Storage sono concentriche. Non è necessario specificare sia l'autorizzazione WRITE
che
READ
quando concedi l'autorizzazione WRITE
utilizzando la
sintassi di Cloud Storage.
Cloud Storage supporta la sintassi ACL di Amazon S3 nei seguenti scenari:
- In una richiesta a Cloud Storage di recuperare gli ACL (ad esempio, una richiesta
GET
di oggetto o di bucketGET
), Cloud Storage restituisce la sintassi ACL di Amazon S3. - In una richiesta a Cloud Storage di applicare gli ACL (ad esempio, una richiesta
PUT
di oggetto o di bucketPUT
), Cloud Storage prevede di ricevere la sintassi ACL di Amazon S3.
L'intestazione Authorization
in un semplice scenario di migrazione utilizza AWS
come
identificatore di firma, ma con il tuo ID di accesso Google.
Authorization: AWS4-HMAC-SHA256 Credential=GOOG-ACCESS-ID/CREDENTIAL_SCOPE, SignedHeaders=SIGNED_HEADERS, Signature=SIGNATURE
L'esempio seguente mostra una richiesta GET
a Cloud Storage per restituire gli ACL di un oggetto.
GET europe/france/paris.jpg?acl HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Thu, 21 Feb 2019 23:50:10 GMT Content-Type: application/xml X-Amz-Date: 20190221T235010Z Authorization: AWS4-HMAC-SHA256 Credential=GOOGMC5PDPA5JLZYQMHQHRAX/20190221/region/s3/aws4_request, SignedHeaders=host;x-amz-date, Signature=29088b1d6dfeb2549f6ff67bc3744abb7e45475f0ad60400485805415bbfc534
La risposta alla richiesta include l'ACL che utilizza la sintassi ACL di Amazon S3.
<?xml version='1.0' encoding='UTF-8'?> <AccessControlPolicy> <Owner> <ID>00b4903a972faa8bcce9382686e9129676f1cd6e5def1f5663affc2ba4652490 </ID> <DisplayName>OwnerName</DisplayName> </Owner> <AccessControlList> <Grant> <Grantee xmlns:xsi='http://www.w3.org/2001/XMLSchema-instance' xsi:type='CanonicalUser'> <ID>00b4903a972faa8bcce9382686e9129676f1cd6e5def1f5663affc2ba4652490</ID> <DisplayName>UserName</DisplayName> </Grantee> <Permission>FULL_CONTROL</Permission> </Grant> </AccessControlList> </AccessControlPolicy>
L'esempio seguente mostra una richiesta PUT
a Cloud Storage per impostare gli ACL per un oggetto. L'esempio mostra il corpo di una richiesta
con la sintassi ACL di Amazon S3.
PUT europe/france/paris.jpg?acl HTTP/1.1 Host: my-travel-maps.storage.googleapis.com Date: Thu, 21 Feb 2019 23:50:10 GMT Content-Type: application/xml Content-Length: 337 X-Amz-Date: 20190221T235010Z Authorization: AWS4-HMAC-SHA256 Credential=GOOGMC5PDPA5JLZYQMHQHRAX/20190221/region/s3/aws4_request, SignedHeaders=host;x-amz-date, Signature=29088b1d6dfeb2549f6ff67bc3744abb7e45475f0ad60400485805415bbfc534 <?xml version='1.0' encoding='utf-8'?> <AccessControlPolicy> <AccessControlList> <Grant> <Grantee xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="AmazonCustomerByEmail"> <EmailAddress>jane@gmail.com</EmailAddress> </Grantee> <Permission>FULL_CONTROL</Permission> </Grant> </AccessControlList> </AccessControlPolicy>
Infine, in uno scenario di migrazione semplice, puoi anche utilizzare l'identificatore di firma GOOG1
nell'intestazione Authorization
. In questo caso, devi utilizzare la
sintassi ACL di Cloud Storage e assicurarti che tutte le intestazioni x-amz-*
vengano modificate in x-goog-*
. Sebbene questo sia possibile, consigliamo di scegliere una migrazione completa per utilizzare tutti i vantaggi di Cloud Storage.
Supporto per la compatibilità dell'API XML con Amazon S3
Per discussioni sull'interoperabilità dell'API XML, consulta Stack Overflow utilizzando il tag google-cloud-storage.
Passaggi successivi
- Pianifica una migrazione da Amazon S3.
- Trasferisci i tuoi dati in Cloud Storage da origini esterne, come Amazon S3 e Microsoft Azure Blob Storage, utilizzando Storage Transfer Service.
- Crea trasferimenti basati su eventi che utilizzano Notifiche di eventi Amazon S3 per mantenere sincronizzato un bucket Cloud Storage con Amazon S3.