Présentation de « gcloud storage » : des transferts de données jusqu'à 94 % plus rapides pour Cloud Storage

Les clients de Cloud Storage nous demandent souvent quel est le moyen le plus rapide d'ingérer et d'extraire des données de leurs « buckets ». Pour obtenir les meilleures performances, les utilisateurs doivent souvent connaître les bons réglages et paramètres afin d’optimiser les vitesses de transfert. Dans bien des cas, les clients utilisent Cloud Storage parallèlement à d'autres services Google Cloud et recherchent un outil unique qui puisse être utilisé pour gérer tous leurs actifs Google Cloud.

Présentation de gcloud storage – une nouveauté du Google Cloud CLI

Google Cloud CLI (alias, CLI gcloud) est une interface en lignes de commandes pour piloter Google Cloud et ses services sans passer par l’interface Web. La CLI gcloud peut être utilisée pour créer et gérer les ressources et services de Google Cloud directement à partir de lignes de commande ou via des scripts. « gcloud storage » est le tout dernier ajout à cet ensemble de commandes. Ce jeu de commandes vient moderniser l'expérience CLI des services Google Cloud Storage.

Performance du transfert de données

Aux yeux des clients, comme aux nôtres, les taux de transfert de données sont des données importantes car ils déterminent le taux d'utilisation des données pour obtenir des insights utiles à l’entreprise.

La nouvelle CLI « gcloud storage » offre des améliorations de performance significatives par rapport à l'option existante gsutil, une application Python vous permettant d'accéder à Cloud Storage via l’interface CLI.

Pour démontrer la différence de performance entre « gsutil » et « gcloud storage », nous avons testé des scénarios avec un seul puis de multiples fichiers. Lors du transfert de 100 fichiers d'une taille de 100 Mo, « gcloud storage » s’est révélé 79 % plus rapide que gsutil en download et 33 % plus rapide en upload en utilisant une stratégie d’upload de type « importation composite parallèle » (cf Figure 1).

Avec un unique fichier de 10 Go, « gcloud storage » s’est montré 94 % plus rapide que gsutil en download et 57 % plus rapide en upload (cf figure 2). Ces tests ont été effectués sur Google Cloud Platform en utilisant des machines « n2d-standard-16 » (avec 8 vCPUs, 32 GB de mémoire) dotées d’un disque de 375 Go en NVME et RAID0 sur la région « us-east4 ».

Ces taux de transfert plus rapides de « gcloud storage » résultent de deux innovations. Tout d'abord, « gcloud storage » utilise des outils de hachage plus rapides pour la vérification de l'intégrité des données CRC32C qui évitent la configuration compliquée requise pour gsutil. Deuxièmement, cette nouvelle interface CLI utilise une nouvelle stratégie de parallélisation qui traite la gestion des tâches comme un problème de graphes, ce qui permet d'effectuer plus de travaux en parallèle avec beaucoup moins de surcharge (overhead).

Un outil plus convivial

Outre les performances accrues, l’interface en ligne de commandes CLI gcloud fournit un moyen pratique et cohérent de gérer l’ensemble des ressources Google Cloud, y compris les Buckets de Cloud Storage Buckets, les VMs Compute Engine, et les clusters GKE (Google Kubernetes Engine).

La CLI « gcloud storage » détecte automatiquement les paramètres optimaux et accélère les transferts sans nécessiter aucun paramètre de la part des utilisateurs. Dans « gcloud storage », toutes les opérations se déroulent en parallèle. À titre d'exemple, les « importations composites parallèles » sont activées automatiquement en fonction de la configuration du bucket. Il s'agit d'une amélioration considérable par rapport à gsutil, qui nécessite le paramètre «  -m » (opérations parallèles) pour améliorer les performances des téléchargements en amont et en aval. 

De manière générale, la CLI « gcloud storage » réduit considérablement le nombre de commandes de premier niveau que les utilisateurs doivent connaître pour gérer leurs ressources Cloud Storage. En effet toutes les commandes sont ici regroupées sous des en-têtes communes faciles à mémoriser : par exemple, toutes les opérations de Bucket sont regroupées sous « gcloud storage buckets <command> » et toutes les opérations d'objets sont regroupées sous « gcloud storage objects <command> ».

La transition vers la CLI « gcloud storage » est d’autant plus simple que nous avons introduit un shim (autrement dit un outil de transcription) qui permet aux scripts gsutil existants d'être exécutés en tant que scripts « gcloud storage ». Cela vous permet de bénéficier de tous les avantages de performance de la nouvelle interface CLI sans avoir à réécrire vos scripts Cloud Storage existants basés sur gsutil.

Activer « gcloud storage »

L’interface CLI « gcloud storage » est disponible dès à présent et vous pouvez l'utiliser sans frais supplémentaires. Pour l’obtenir, installez - ou faites une mise à niveau vers - la dernière version du SDK Google Cloud. Pour en savoir plus sur l’interface CLI « gcloud storage », veuillez consulter la documentation en ligne.