Installer gsutil

Cette page décrit l'installation et la configuration de gsutil, un outil qui vous permet d'accéder à Cloud Storage à partir de la ligne de commande à l'aide du protocole HTTPS.

Important : Dans la plupart des cas, les utilisateurs qui souhaitent utiliser une CLI pour travailler avec Cloud Storage ne doivent pas utiliser l'outil gsutil. Utilisez plutôt Google Cloud CLI, en l'associant aux commandes gcloud storage.

Il vous suffit d'installer gsutil pour bénéficier d'un accès immédiat en lecture et/ou en écriture aux données publiques. L'authentification auprès du service Cloud Storage vous permet d'accéder en lecture et/ou en écriture aux données protégées qui vous ont été transmises. L'activation de la facturation vous donne la possibilité de créer et de gérer vos propres buckets.

Configuration système requise

• L'outil gsutil s'exécute sous Linux/Unix, Mac OS et Windows (XP ou version ultérieure).

• Les versions 5.0 et ultérieures de gsutil nécessitent Python 3.

• Si vous envisagez d'utiliser des objets composites, vous devez installer la bibliothèque compilée crcmod. Sous Windows, cette option n'est disponible que pour Python 32 bits.

Avertissement : Sur certaines distributions Linux, un autre outil nommé gsutil, de GrandStream BudgeTone, est préinstallé. Si vous exécutez cette commande à la place de l'outil gsutil de Cloud Storage, un message d'erreur semblable à celui-ci peut s'afficher : "Choose one of -b, -d, -e, or -r to do something". Dans ce cas, vous pouvez déplacer la version Cloud Storage de l'outil gsutil au premier plan de votre variable d'environnement PATH ou spécifier le chemin d'accès complet lors de l'exécution de l'outil gsutil de Cloud Storage (par exemple, /home/users/joan/gsutil/gsutil ls).

Installer gsutil

Remarque : Si vous avez précédemment installé Google Cloud CLI, gsutil est déjà inclus. De plus, Google Cloud CLI, qui inclut gsutil, est installé par défaut sur un certain nombre d'images Google Compute Engine. Pour en obtenir la liste complète, consultez la page Détails des systèmes d'exploitation.

La méthode d'installation et de mise à jour officielle pour gsutil intègre l'utilisation de Google Cloud CLI.

Installer gsutil dans le cadre de Google Cloud CLI

Suivez les instructions correspondant à votre système d'exploitation pour installer gsutil dans le cadre de Google Cloud CLI :

Linux

1. Vérifiez que vous disposez d'une version compatible de Python. Google Cloud CLI nécessite Python 3.8 à 3.12. Notez que le package Linux x86_64 inclut un interpréteur Python groupé qui sera privilégié par défaut. Pour plus d'informations sur le choix et la configuration de votre interpréteur Python, consultez la page gcloud topic startup.
2. Téléchargez l'un des éléments suivants :
   Remarque : Pour déterminer votre version de Linux, exécutez getconf LONG_BIT sur la ligne de commande.

   Plate-forme	Nom du package	Taille	Somme de contrôle SHA256
   Linux 64 bits (x86_64)	google-cloud-cli-471.0.0-linux-x86_64.tar.gz	202 Mo	d53ed9f881953cb35c8312125ae24a201aba8660b724143d3ba048e2a7cc794d
   Linux 64 bits (Arm)	google-cloud-cli-471.0.0-linux-arm.tar.gz	118,9 Mo	62af142a8e42aea090873d8316c9e0cd80ee5a418f325168a4bfd14bd862ecdb
   Linux 32 bits (x86)	google-cloud-cli-471.0.0-linux-x86.tar.gz	117 Mo	a59f0f4c314f2f57009cf0aac47fb5c5be7e718f05e2b9a94efab2b40303f687

   Pour télécharger le fichier d'archive Linux, exécutez la commande suivante :

   curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-cli-471.0.0-linux-x86_64.tar.gz

   Reportez-vous au tableau ci-dessus et remplacez google-cloud-cli-471.0.0-linux-x86_64.tar.gz par le nom du package *.tar.gz qui s'applique à votre configuration.

3. Pour extraire le contenu du fichier vers votre système de fichiers (de préférence vers votre répertoire d'accueil), exécutez la commande suivante :

   tar -xf google-cloud-cli-471.0.0-linux-x86_64.tar.gz

   Facultatif : Pour remplacer une installation existante, supprimez le répertoire google-cloud-sdk existant, puis extrayez l'archive au même emplacement.
4. Ajoutez gcloud CLI à votre PATH. Exécutez le script d'installation (à partir de la racine du dossier dans lequel vous l'avez extrait) à l'aide de la commande suivante :

   ./google-cloud-sdk/install.sh

   Cette opération peut également être effectuée de manière non interactive (par exemple, à l'aide d'un script) et via des préférences sous forme d'options. Pour afficher les options disponibles, exécutez la commande suivante :

   ./google-cloud-sdk/install.sh --help

   Facultatif :
   • Pour envoyer des statistiques d'utilisation anonymes afin de nous aider à améliorer gcloud CLI, répondez Y lorsque vous y êtes invité.
   • Pour ajouter gcloud CLI à votre PATH et activer l'achèvement de commande, répondez Y lorsque vous y êtes invité.
5. Ouvrez un nouveau terminal pour que les modifications prennent effet.
6. Pour initialiser gcloud CLI, exécutez la commande gcloud init :

./google-cloud-sdk/bin/gcloud init

7. Installez des composants supplémentaires à l'aide du gestionnaire de composants.

Debian/Ubuntu

Remarque : Selon votre configuration, vous pouvez choisir d'autres méthodes d'installation :

• Si vous souhaitez que gcloud et gsutil soient mis à jour automatiquement vers la dernière version et que vous exécutez une version moderne d'Ubuntu qui utilise le gestionnaire de packages Snap, vous pouvez installer Google Cloud CLI en tant que package Snap.
• Si vous utilisez une instance sur Compute Engine, gcloud CLI est installé par défaut sur un certain nombre d'images d'OS. Pour en obtenir la liste complète, consultez la page Détails des systèmes d'exploitation.

Contenu du package

gcloud CLI est disponible sous forme de package pour l'installation sur des systèmes Debian et Ubuntu. Ce package ne contient que les commandes gcloud, gcloud alpha, gcloud beta, gsutil et bq. Il n'inclut pas kubectl, ni les extensions App Engine requises pour déployer une application à l'aide des commandes gcloud. Si vous voulez ces composants, vous devez les installer séparément.

Avant de commencer

Avant d'installer gcloud CLI, assurez-vous que votre système d'exploitation remplit les conditions suivantes :

• Il s'agit d'une version d'Ubuntu qui n'est pas encore en fin de vie ou une version stable de Debian qui n'est pas encore en fin de vie
• Les packages ont été mis à jour récemment :

  sudo apt-get update

• apt-transport-https et curl sont installés :

  sudo apt-get install apt-transport-https ca-certificates gnupg curl

Installation

1. Importez la clé publique de Google Cloud.

   • Pour les distributions plus récentes (Debian 9+ ou Ubuntu 18.04+), exécutez la commande suivante :

     curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/cloud.google.gpg

   • Pour les anciennes distributions, exécutez la commande suivante :

     curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

   • Si la commande apt-key de votre distribution n'accepte pas l'argument --keyring, exécutez la commande suivante :

     curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

   • Si vous ne pouvez pas obtenir les dernières mises à jour en raison de l'expiration d'une clé, procurez-vous le dernier fichier de clé apt-get.gpg.

2. Ajoutez l'URI de distribution de gcloud CLI en tant que source de package.
   • Pour les distributions plus récentes (Debian 9+ ou Ubuntu 18.04+), exécutez la commande suivante :

     echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

   • Pour les distributions plus anciennes qui ne sont pas compatibles avec l'option de signature, exécutez la commande suivante :

     echo "deb https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

   Remarque : Vérifiez que vous n'avez pas d'entrées en double pour le dépôt cloud-sdk dans /etc/apt/sources.list.d/google-cloud-sdk.list.
3. Mettez à jour et installez gcloud CLI :

   sudo apt-get update && sudo apt-get install google-cloud-cli

   Pour plus d'options apt-get, telles que la désactivation des invites ou des simulations, consultez les pages man apt-get.

   Conseil Docker : Si vous installez gcloud CLI dans une image Docker, utilisez plutôt une étape RUN unique :

   RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/cloud.google.gpg && apt-get update -y && apt-get install google-cloud-sdk -y
       

   Pour les images de base plus anciennes non compatibles avec la commande gpg --dearmor :

   RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key --keyring /usr/share/keyrings/cloud.google.gpg  add - && apt-get update -y && apt-get install google-cloud-cli -y
         

4. (Facultatif) Installez l'un des composants supplémentaires suivants :
   • google-cloud-cli
   • google-cloud-cli-anthos-auth
   • google-cloud-cli-app-engine-go
   • google-cloud-cli-app-engine-grpc
   • google-cloud-cli-app-engine-java
   • google-cloud-cli-app-engine-python
   • google-cloud-cli-app-engine-python-extras
   • google-cloud-cli-bigtable-emulator
   • google-cloud-cli-cbt
   • google-cloud-cli-cloud-build-local
   • google-cloud-cli-cloud-run-proxy
   • google-cloud-cli-config-connector
   • google-cloud-cli-datastore-emulator
   • google-cloud-cli-firestore-emulator
   • google-cloud-cli-gke-gcloud-auth-plugin
   • google-cloud-cli-kpt
   • google-cloud-cli-kubectl-oidc
   • google-cloud-cli-local-extract
   • google-cloud-cli-minikube
   • google-cloud-cli-nomos
   • google-cloud-cli-pubsub-emulator
   • google-cloud-cli-skaffold
   • google-cloud-cli-spanner-emulator
   • google-cloud-cli-terraform-validator
   • google-cloud-cli-tests
   • kubectl

   Par exemple, vous pouvez installer le composant google-cloud-cli-app-engine-java comme suit :

   sudo apt-get install google-cloud-cli-app-engine-java

5. Pour commencer, exécutez gcloud init :

   gcloud init

Revenir à une version antérieure de gcloud CLI

Pour revenir à une version spécifique de gcloud CLI, où VERSION est au format 123.0.0, exécutez la commande suivante :

sudo apt-get update && sudo apt-get install google-cloud-cli=123.0.0-0

Les dix dernières versions sont toujours disponibles dans le dépôt.

REMARQUE : Pour les versions antérieures à 371.0.0, le nom du package est google-cloud-sdk.

Red Hat/Fedora/CentOS

Remarque : Si vous utilisez une instance sur Compute Engine, Google Cloud CLI est installé par défaut sur un certain nombre d'images d'OS. Pour en obtenir la liste complète, consultez la page Détails des systèmes d'exploitation.

Contenu du package

La gcloud CLI est disponible sous forme de package pour l'installation sur les systèmes Red Hat Enterprise Linux 7, 8 et 9, Fedora 33 et 34, et CentOS 7 et 8. Ce package ne contient que les commandes gcloud, gcloud alpha, gcloud beta, gsutil et bq. Il n'inclut pas kubectl ni les extensions App Engine requises pour le déploiement d'une application à l'aide des commandes gcloud, que vous pouvez installer séparément comme décrit plus loin dans cette section.

Installation

1. Mettez à jour DNF à l'aide des informations correspondant au dépôt gcloud CLI. L'exemple de commande suivant concerne une installation compatible avec Red Hat Enterprise Linux 9. Veillez toutefois à mettre à jour les paramètres selon votre configuration :

   sudo tee -a /etc/yum.repos.d/google-cloud-sdk.repo << EOM
   [google-cloud-cli]
   name=Google Cloud CLI
   baseurl=https://packages.cloud.google.com/yum/repos/cloud-sdk-el9-x86_64
   enabled=1
   gpgcheck=1
   repo_gpgcheck=0
   gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
   EOM
   

2. Si vous effectuez l'installation sur Fedora 34 ou 35, installez libxcrypt-compat.x86_64.

   sudo dnf install libxcrypt-compat.x86_64

3. Installez gcloud CLI :

   sudo dnf install google-cloud-cli

Remarque : Si vous n'avez pas effectué la migration vers dnf sur votre système, vous pouvez exécuter ces commandes à l'aide de yum.

Vous pouvez également utiliser les options dnf/yum, telles que la désactivation des invites ou des simulations, avec les commandes fournies.

4. (Facultatif) Installez l'un des composants supplémentaires suivants :
   • google-cloud-cli
   • google-cloud-cli-anthos-auth
   • google-cloud-cli-app-engine-go
   • google-cloud-cli-app-engine-grpc
   • google-cloud-cli-app-engine-java
   • google-cloud-cli-app-engine-python
   • google-cloud-cli-app-engine-python-extras
   • google-cloud-cli-bigtable-emulator
   • google-cloud-cli-cbt
   • google-cloud-cli-cloud-build-local
   • google-cloud-cli-cloud-run-proxy
   • google-cloud-cli-config-connector
   • google-cloud-cli-datastore-emulator
   • google-cloud-cli-firestore-emulator
   • google-cloud-cli-gke-gcloud-auth-plugin
   • google-cloud-cli-kpt
   • google-cloud-cli-kubectl-oidc
   • google-cloud-cli-local-extract
   • google-cloud-cli-minikube
   • google-cloud-cli-nomos
   • google-cloud-cli-pubsub-emulator
   • google-cloud-cli-skaffold
   • google-cloud-cli-spanner-emulator
   • google-cloud-cli-terraform-validator
   • google-cloud-cli-tests
   • kubectl

   Par exemple, vous pouvez installer le composant google-cloud-cli-app-engine-java comme suit :

   sudo dnf install google-cloud-cli-app-engine-java

5. Pour commencer, exécutez gcloud init :

   gcloud init

Revenir à une version antérieure de gcloud CLI

Si vous souhaitez rétablir une version spécifique de gcloud CLI, où VERSION est au format 123.0.0, exécutez : sudo dnf downgrade google-cloud-cli-VERSION Les 10 dernières versions seront toujours disponibles dans le dépôt. REMARQUE : Pour les versions antérieures à 371.0.0, le nom du package est google-cloud-sdk.

macOS

1. Vérifiez que vous disposez d'une version compatible de Python :
   • Pour vérifier votre version actuelle de Python, exécutez python3 -V OU python -V. Les versions compatibles sont Python 3.8 à 3.12.
   • Le script d'installation principal propose d'installer Python 3.11 pour CPython.
   • Sinon, pour installer une version compatible de Python, consultez la page Versions Python pour macOS du site Python.org.
   • Si plusieurs interpréteurs Python sont installés sur votre ordinateur, définissez la variable d'environnement CLOUDSDK_PYTHON dans votre interface système pour qu'elle pointe vers le chemin de l'interpréteur de votre choix.
   • Pour plus d'informations sur le choix et la configuration de votre interpréteur Python, consultez la page gcloud topic startup.
2. Téléchargez l'un des éléments suivants :
   Remarque : Pour déterminer le nom de votre matériel, exécutez la commande uname -m depuis la ligne de commande.

Plate-forme	Package	Taille	Somme de contrôle SHA256
macOS 64 bits (x86_64)	google-cloud-cli-471.0.0-darwin-x86_64.tar.gz	124,7 Mo	b03ab8e095efa9d4530f541120541c2a212515858ff478ac92a835d9f6307765
macOS 64 bits (ARM64, Apple M1 silicon)	google-cloud-cli-471.0.0-darwin-arm.tar.gz	121,8 Mo	b875070c7a572edc70657e822708890b82d4319142809e8499340d07cdfcdea2
macOS 32 bits (x86)	google-cloud-cli-471.0.0-darwin-x86.tar.gz	123,4 Mo	c1e376e7504ffabda7671a830630e74d3c589e7d58093748e47089ae31d65b0b

1. Extrayez l'archive dans n'importe quel emplacement de votre système de fichiers, de préférence votre répertoire d'accueil. Sur MacOS, vous pouvez effectuer cette opération en ouvrant le fichier d'archive .tar.gz téléchargé à l'emplacement choisi.

   Pour remplacer une installation existante, supprimez le répertoire google-cloud-sdk existant, puis extrayez l'archive au même emplacement.

2. (Facultatif) Exécutez le script d'installation pour ajouter les outils gcloud CLI à votre PATH. Vous pouvez également activer l'achèvement de commande pour votre shell, la collecte des statistiques d'utilisation, et installer Python 3.11.

   Exécutez le script (à partir de la racine du dossier que vous avez extrait à la dernière étape) à l'aide de la commande suivante :

   ./google-cloud-sdk/install.sh
   

   This can also be done non-interactively (for example, using a script) by providing preferences as flags. To describe the available flags, run:

   ./google-cloud-sdk/install.sh --help
   

   To run the install script with screen reader mode on:

   ./google-cloud-sdk/install.sh --screen-reader=true
   

   Open a new terminal so that the changes take effect.
3. To initialize the gcloud CLI, run gcloud init:

./google-cloud-sdk/bin/gcloud init

4. Optional. Install additional components using the component manager.

Windows

The Google Cloud CLI works on Windows 8.1 and later and Windows Server 2012 and later.

1. Download the Google Cloud CLI installer.

   Alternatively, open a PowerShell terminal and run the following PowerShell commands:

   (New-Object Net.WebClient).DownloadFile("https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe", "$env:Temp\GoogleCloudSDKInstaller.exe")
   
   & $env:Temp\GoogleCloudSDKInstaller.exe
       

2. Lancez le programme d'installation, puis suivez les instructions. Ce programme est signé par Google LLC.

   Si vous utilisez un lecteur d'écran, cochez la case Activer le mode Lecteur d'écran. Cette option configure gcloud pour utiliser des outils de suivi d'état au lieu des icônes de chargement Unicode, afficher la progression sous forme de pourcentage et aplatir les tables. Pour en savoir plus, consultez le guide des fonctionnalités d'accessibilité.

3. Google Cloud CLI nécessite Python. Les versions compatibles sont Python 3.8 à 3.12. Par défaut, la version Windows de Google Cloud CLI est fournie avec Python 3. Pour utiliser Google Cloud CLI, votre système d'exploitation doit pouvoir exécuter une version compatible de Python.

   Le programme d'installation installe toutes les dépendances nécessaires, y compris la version Python requise. Bien que Google Cloud CLI installe et gère Python 3 par défaut, vous pouvez si nécessaire utiliser une installation Python existante. Pour ce faire, décochez l'option "Installer la version incluse de Python". Pour savoir comment utiliser une installation Python existante, consultez la page gcloud topic startup.

4. Une fois l'installation terminée, le programme d'installation vous donne la possibilité de créer un menu Démarrer et des raccourcis sur le Bureau, de démarrer le shell de Google Cloud CLI et de configurer gcloud CLI. Veillez à conserver les options pour démarrer le shell et configurer l'installation sélectionnée. Le programme d'installation affiche une fenêtre de terminal, puis exécute la commande gcloud init.

5. L'installation par défaut n'inclut pas les extensions App Engine requises pour déployer une application à l'aide des commandes gcloud. Ces composants peuvent être installés à l'aide du gestionnaire de composants de gcloud CLI.

Conseils de dépannage :

• Si l'installation échoue parce que la commande find n'est pas reconnue, assurez-vous que votre variable d'environnement PATH est définie de façon à inclure le dossier contenant find. Il s'agit généralement de C:\WINDOWS\system32;.
• Si vous avez désinstallé gcloud CLI, vous devez redémarrer votre système avant de l'installer à nouveau.
• Si la décompression échoue, exécutez le programme d'installation en tant qu'administrateur.

Effectuez des mises à jour à l'aide de la commande components update : gcloud components update.

Configurer des identifiants pour l'accès aux données protégées

Pour accéder à des données protégées ou écrire sur un bucket protégé, vous devez configurer des identifiants (authentification). Par exemple, si une autre personne a créé un compte Cloud Storage et importé des données accessibles seulement à vous-même ou à d'autres personnes, vous devez configurer vos identifiants sur le service Cloud Storage pour pouvoir accéder à ces données.

Lorsque vous utilisez gsutil dans le cadre de Google Cloud CLI, OAuth2 est utilisé pour l'authentification et l'autorisation de l'accès à vos ressources Cloud Storage. Pour établir l'accès, exécutez la commande gcloud init et suivez les instructions fournies dans la ligne de commande, qui incluent la connexion à votre compte utilisateur. Notez que vous avez probablement déjà effectué cette configuration si vous avez suivi les étapes d'installation ci-dessus. Si vous avez déjà exécuté gcloud init, lorsque vous exécutez à nouveau la commande, il vous est demandé si vous souhaitez réinitialiser la configuration ou en créer une nouvelle. Pour en savoir plus, consultez la page Initialiser Google Cloud CLI.

Et voilà ! Vous pouvez désormais accéder aux données protégées. Pour consulter la liste des commandes gsutil, saisissez gsutil dans l'invite de commande.

Dépannage

Si vous essayez d'authentifier gsutil à l'aide de la commande gcloud init, mais que vous ne parvenez toujours pas à accéder aux buckets ou aux objets attendus, votre système peut disposer de l'ancienne version autonome de gsutil et de la version de gsutil groupée par Google Cloud CLI installée sur celle-ci. Exécutez la commande gsutil version -l et vérifiez la valeur de using cloud sdk. Si la valeur est False, votre système utilise la version autonome de gsutil lorsque vous exécutez des commandes. Il est recommandé de supprimer la version autonome de gsutil de votre système. Vous pouvez également vous authentifier à l'aide de gsutil config -a ou gsutil config -e.

Authentifier avec HMAC

Bien qu'il soit recommandé d'utiliser OAuth 2.0 pour authentifier gsutil, vous pouvez également vous servir de clés HMAC pour vos identifiants. Pour vous authentifier avec HMAC, utilisez la commande suivante :

gsutil config -a

L'utilisation de cette commande vous permet de suivre un processus d'authentification, dans lequel vous êtes invité à saisir l'ID d'accès et le code secret associés à votre clé HMAC.

Lors de l'authentification avec des clés HMAC, vous devez désactiver la transmission des identifiants à partir de Google Cloud CLI à l'aide de la commande suivante : gcloud config set pass_credentials_to_gsutil false.

Activer mTLS

Vous pouvez également activer le protocole TLS mutuel (mTLS). Lorsque l'authentification mTLS est activée sur votre appareil, celui-ci tente de se connecter à storage.mtls.googleapis.com. Avant d'autoriser la connexion, Cloud Storage vérifie le certificat sur votre appareil.

Remarque : Cette fonctionnalité ne fonctionne que lorsque gsutil envoie des requêtes via l'API JSON de Cloud Storage.

Le moyen le plus simple d'obtenir un certificat consiste à utiliser Google Cloud CLI. Vous pouvez en définir une manuellement dans le fichier .boto en définissant les valeurs suivantes sous "Identifiants" :

1. use_client_certificate : option indiquant si les protocoles TLS doivent être utilisés ou non.
2. cert_provider_command : commande d'interface système qui affiche un certificat sur stdout à lire par gsutil.

Faites l'essai

Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de Cloud Storage en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Profiter d'un essai gratuit de Cloud Storage