Cloud Storage est compatible avec d'autres plates-formes de stockage d'objets. Vous pouvez ainsi intégrer facilement des données provenant de différentes sources. Cette page décrit les outils Cloud Storage permettant de gérer les données d'objets multiplates-formes.
API XML
L'API XML Google Cloud Storage est compatible avec des outils et des bibliothèques fonctionnant avec des services tels que Amazon Simple Storage Service (Amazon S3). Pour utiliser ces outils et bibliothèques avec Cloud Storage, remplacez le point de terminaison de la requête utilisé par l'outil ou la bibliothèque par l'URI Cloud Storage https://storage.googleapis.com, puis configurez l'outil ou la bibliothèque pour utiliser vos clés HMAC Cloud Storage. Pour obtenir des instructions détaillées sur la mise en route, consultez la page Migration simple depuis Amazon Simple Storage Service (Amazon S3).
S'authentifier avec le processus de signature V4
Le processus de signature V4 vous permet de créer des requêtes signées pour l'API XML Cloud Storage. Lorsque vous effectuez le processus de signature V4, vous créez une signature qui peut être utilisée dans un en-tête de requête pour vous authentifier. Vous pouvez effectuer le processus de signature à l'aide d'une signature RSA, ou en utilisant votre workflow Amazon S3 et vos identifiants HMAC. Pour en savoir plus sur l'authentification des requêtes, consultez la page Signatures.
Google Cloud CLI
gcloud CLI est l'outil de ligne de commande privilégié pour accéder à Cloud Storage. Il permet également d'accéder à d'autres services de stockage dans le cloud utilisant l'authentification HMAC, tels qu'Amazon S3, et d'utiliser ces services. Après avoir ajouté vos identifiants Amazon S3 à ~/.aws/credentials, vous pouvez commencer à utiliser des commandes gcloud storage pour gérer les objets de vos buckets Amazon S3. Exemple :
La commande suivante répertorie les objets dans le bucket Amazon S3
my-aws-bucket:gcloud storage ls s3://my-aws-bucket
La commande suivante synchronise les données entre un bucket Amazon S3 et un bucket Cloud Storage :
gcloud storage rsync s3://my-aws-bucket gs://example-bucket --delete-unmatched-destination-objects --recursive
Pour en savoir plus, y compris sur l'optimisation de cette synchronisation, consultez la documentation gcloud storage rsync.
Erreur Invalid certificate pour les noms de buckets Amazon S3 contenant des points
Si vous tentez d'utiliser la CLI gcloud pour accéder à un bucket Amazon S3 dont le nom contient un point, une erreur invalid certificate peut s'afficher. En effet, Amazon S3 n'accepte pas les URL de bucket de type hébergé virtuellement dont le nom contient des points. Lorsque vous utilisez des ressources Amazon S3, vous pouvez configurer gcloud CLI pour tenter d'utiliser des URL de bucket de type chemin d'accès en définissant la propriété storage/s3_endpoint_url comme suit:
storage/s3_endpoint_url https://s3.REGION_CODE.amazonaws.com
REGION_CODE correspond à la région contenant le bucket que vous demandez. Par exemple, us-east-2.
Vous pouvez modifier la propriété storage/s3_endpoint_url de l'une des manières suivantes:
Utiliser la commande
gcloud config set, qui applique la propriété à toutes les commandes de CLI gcloud.Créer une configuration nommée et l'appliquer en fonction de la commande à l'aide de l'option
--configurationà l'échelle du projet.
Ligne de commande gsutil
gsutil est un ancien outil permettant d'accéder à Cloud Storage à partir de la ligne de commande. Il permet également d'accéder à d'autres services de stockage dans le cloud utilisant l'authentification HMAC, tels qu'Amazon S3, et d'utiliser ces services. Après avoir ajouté vos identifiants Amazon S3 à ~/.aws/credentials, vous pouvez commencer à utiliser gsutil pour gérer les objets de vos buckets Amazon S3. Par exemple :
La commande suivante répertorie les objets dans le bucket Amazon S3
my-aws-bucket:gsutil ls s3://my-aws-bucket
La commande suivante synchronise les données entre un bucket Amazon S3 et un bucket Cloud Storage :
gsutil rsync -d -r s3://my-aws-bucket gs://example-bucket
Pour plus d'informations, y compris sur la configuration de gsutil permettant d'optimiser cette synchronisation, consultez la documentation sur gsutil rsync.
Erreur Invalid certificate pour les noms de buckets Amazon S3 contenant des points
Si vous tentez d'utiliser gsutil pour accéder à un bucket Amazon S3 dont le nom contient un point, une erreur invalid certificate peut s'afficher. En effet, Amazon S3 n'accepte pas les URL de bucket de type hébergé virtuellement dont le nom contient des points. Lorsque vous utilisez des ressources Amazon S3, vous pouvez configurer gsutil pour qu'il tente d'utiliser des URL de bucket de type chemin d'accès en ajoutant l'entrée suivante à votre fichier de configuration.boto pour gsutil :
[s3]
calling_format = boto.s3.connection.OrdinaryCallingFormat
Importer des données avec le service de transfert de stockage
Le service de transfert de stockage vous permet d'importer de grandes quantités de données en ligne dans Cloud Storage à partir de buckets Amazon S3, de conteneurs Microsoft Azure Blob Storage et d'emplacements HTTP/HTTPS généraux. Ce service permet aussi de planifier des transferts récurrents, de supprimer des objets sources et de sélectionner les objets à transférer.
En outre, si vous utilisez les notifications d'événement Amazon S3, vous pouvez configurer les transferts basés sur des événements du service de transfert de stockage de façon à écouter ces notifications et à maintenir automatiquement la synchronisation d'un bucket Cloud Storage avec une source Amazon S3.
Étapes suivantes
- Effectuez rapidement une migration simple depuis Amazon S3 vers Cloud Storage.
- Créez une signature pour authentifier les requêtes.