Installer gsutil

Cette page décrit l'installation et la configuration de gsutil, un outil qui vous permet d'accéder à Cloud Storage à partir de la ligne de commande à l'aide du protocole HTTPS.

Il vous suffit d'installer gsutil pour bénéficier d'un accès immédiat en lecture et/ou en écriture aux données publiques. L'authentification auprès du service Cloud Storage vous permet d'accéder en lecture et/ou en écriture aux données protégées qui vous ont été transmises. L'activation de la facturation vous donne la possibilité de créer et de gérer vos propres buckets.

Configuration système requise

  • L'outil gsutil s'exécute sous Linux/Unix, Mac OS et Windows (XP ou version ultérieure).

  • Les versions 5.0 et ultérieures de gsutil nécessitent Python 3.

  • Si vous envisagez d'utiliser des objets composites, vous devez installer la bibliothèque compilée crcmod. Sous Windows, cette option n'est disponible que pour Python 32 bits. Pour en savoir plus sur crcmod, installez gsutil et consultez la rubrique d'aide à l'aide de la commande gsutil help crc32c.

Installer gsutil

La méthode d'installation et de mise à jour officielle pour gsutil intègre l'utilisation de Google Cloud CLI.

Installer gsutil dans le cadre de Google Cloud CLI

Suivez les instructions correspondant à votre système d'exploitation pour installer gsutil dans le cadre de Google Cloud CLI :

Linux
  1. Vérifiez que vous disposez d'une version compatible de Python. Google Cloud CLI nécessite Python 3.8 à 3.12. Notez que le package Linux x86_64 inclut un interpréteur Python groupé qui sera privilégié par défaut. Pour plus d'informations sur le choix et la configuration de votre interpréteur Python, consultez la page gcloud topic startup.
  2. Téléchargez l'un des éléments suivants :
    Plate-forme Nom du package Taille Somme de contrôle SHA256
    Linux 64 bits

    (x86_64)

    google-cloud-cli-474.0.0-linux-x86_64.tar.gz 129,9 Mo 4af0d83c2c8d9b50fc965b314009259ccf8263c1fc8f07fd5b1bfb24f5f5bec5
    Linux 64 bits

    (Arm)

    google-cloud-cli-474.0.0-linux-arm.tar.gz 51,7 Mo 794710d1f5acdb7e6466e8879b8650fdc87e3debaaefae8f89b22929165440d4
    Linux 32 bits

    (x86)

    google-cloud-cli-474.0.0-linux-x86.tar.gz 51,7 Mo ab9a128944e27aeaed5deb72804694c0b702de7d04c48ecc56c917973087fc07

    Pour télécharger le fichier d'archive Linux, exécutez la commande suivante :

    curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-cli-474.0.0-linux-x86_64.tar.gz

    Reportez-vous au tableau ci-dessus et remplacez google-cloud-cli-474.0.0-linux-x86_64.tar.gz par le nom du package *.tar.gz qui s'applique à votre configuration.

  3. Pour extraire le contenu du fichier vers votre système de fichiers (de préférence vers votre répertoire d'accueil), exécutez la commande suivante :
    tar -xf google-cloud-cli-474.0.0-linux-x86_64.tar.gz
    Facultatif : Pour remplacer une installation existante, supprimez le répertoire google-cloud-sdk existant, puis extrayez l'archive au même emplacement.
  4. Ajoutez gcloud CLI à votre PATH. Exécutez le script d'installation (à partir de la racine du dossier dans lequel vous l'avez extrait) à l'aide de la commande suivante :
    ./google-cloud-sdk/install.sh
    Cette opération peut également être effectuée de manière non interactive (par exemple, à l'aide d'un script) et via des préférences sous forme d'options. Pour afficher les options disponibles, exécutez la commande suivante :
    ./google-cloud-sdk/install.sh --help
    Facultatif :
    • Pour envoyer des statistiques d'utilisation anonymes afin de nous aider à améliorer gcloud CLI, répondez Y lorsque vous y êtes invité.
    • Pour ajouter gcloud CLI à votre PATH et activer l'achèvement de commande, répondez Y lorsque vous y êtes invité.
  5. Ouvrez un nouveau terminal pour que les modifications prennent effet.
  6. Pour initialiser gcloud CLI, exécutez la commande gcloud init :
  7. ./google-cloud-sdk/bin/gcloud init
  8. Installez des composants supplémentaires à l'aide du gestionnaire de composants.
Debian/Ubuntu

Contenu du package

gcloud CLI est disponible sous forme de package pour l'installation sur des systèmes Debian et Ubuntu. Ce package ne contient que les commandes gcloud, gcloud alpha, gcloud beta, gsutil et bq. Il n'inclut pas kubectl, ni les extensions App Engine requises pour déployer une application à l'aide des commandes gcloud. Si vous voulez ces composants, vous devez les installer séparément.

Avant de commencer

Avant d'installer gcloud CLI, assurez-vous que votre système d'exploitation remplit les conditions suivantes :

  • Il s'agit d'une version d'Ubuntu qui n'est pas encore en fin de vie ou une version stable de Debian qui n'est pas encore en fin de vie
  • Les packages ont été mis à jour récemment :
    sudo apt-get update
  • apt-transport-https et curl sont installés :
    sudo apt-get install apt-transport-https ca-certificates gnupg curl
Installation
  1. Importez la clé publique de Google Cloud.
    • Pour les distributions plus récentes (Debian 9+ ou Ubuntu 18.04+), exécutez la commande suivante :

      curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/cloud.google.gpg
    • Pour les anciennes distributions, exécutez la commande suivante :
      curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -
    • Si la commande apt-key de votre distribution n'accepte pas l'argument --keyring, exécutez la commande suivante :

      curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -
    • Si vous ne pouvez pas obtenir les dernières mises à jour en raison de l'expiration d'une clé, procurez-vous le dernier fichier de clé apt-get.gpg.

  2. Ajoutez l'URI de distribution de gcloud CLI en tant que source de package.
    • Pour les distributions plus récentes (Debian 9+ ou Ubuntu 18.04+), exécutez la commande suivante :
      echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
    • Pour les distributions plus anciennes qui ne sont pas compatibles avec l'option de signature, exécutez la commande suivante :

      echo "deb https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
  3. Mettez à jour et installez gcloud CLI :
    sudo apt-get update && sudo apt-get install google-cloud-cli
    Pour plus d'options apt-get, telles que la désactivation des requêtes ou des simulations, consultez les pages man apt-get.

    Conseil Docker : Si vous installez gcloud CLI dans une image Docker, utilisez plutôt une étape RUN unique :

    RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /usr/share/keyrings/cloud.google.gpg && apt-get update -y && apt-get install google-cloud-sdk -y
        
    Pour les images de base plus anciennes non compatibles avec la commande gpg --dearmor :
    RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key --keyring /usr/share/keyrings/cloud.google.gpg  add - && apt-get update -y && apt-get install google-cloud-cli -y
          
  4. (Facultatif) Installez l'un des composants supplémentaires suivants :
    • google-cloud-cli
    • google-cloud-cli-anthos-auth
    • google-cloud-cli-app-engine-go
    • google-cloud-cli-app-engine-grpc
    • google-cloud-cli-app-engine-java
    • google-cloud-cli-app-engine-python
    • google-cloud-cli-app-engine-python-extras
    • google-cloud-cli-bigtable-emulator
    • google-cloud-cli-cbt
    • google-cloud-cli-cloud-build-local
    • google-cloud-cli-cloud-run-proxy
    • google-cloud-cli-config-connector
    • google-cloud-cli-datastore-emulator
    • google-cloud-cli-firestore-emulator
    • google-cloud-cli-gke-gcloud-auth-plugin
    • google-cloud-cli-kpt
    • google-cloud-cli-kubectl-oidc
    • google-cloud-cli-local-extract
    • google-cloud-cli-minikube
    • google-cloud-cli-nomos
    • google-cloud-cli-pubsub-emulator
    • google-cloud-cli-skaffold
    • google-cloud-cli-spanner-emulator
    • google-cloud-cli-terraform-validator
    • google-cloud-cli-tests
    • kubectl

    Par exemple, vous pouvez installer le composant google-cloud-cli-app-engine-java comme suit :

    sudo apt-get install google-cloud-cli-app-engine-java
  5. Pour commencer, exécutez gcloud init :
    gcloud init

Revenir à une version antérieure de gcloud CLI

Pour revenir à une version spécifique de gcloud CLI, où VERSION est au format 123.0.0, exécutez la commande suivante :

sudo apt-get update && sudo apt-get install google-cloud-cli=123.0.0-0

Les dix dernières versions sont toujours disponibles dans le dépôt.

REMARQUE : Pour les versions antérieures à 371.0.0, le nom du package est google-cloud-sdk.

Red Hat/Fedora/CentOS

Contenu du package

La gcloud CLI est disponible sous forme de package pour l'installation sur les systèmes Red Hat Enterprise Linux 7, 8 et 9, Fedora 33 et 34, et CentOS 7 et 8. Ce package ne contient que les commandes gcloud, gcloud alpha, gcloud beta, gsutil et bq. Il n'inclut pas kubectl ni les extensions App Engine requises pour le déploiement d'une application à l'aide des commandes gcloud, que vous pouvez installer séparément comme décrit plus loin dans cette section.

Installation
  1. Mettez à jour DNF à l'aide des informations correspondant au dépôt gcloud CLI. L'exemple de commande suivant concerne une installation compatible avec Red Hat Enterprise Linux 9. Veillez toutefois à mettre à jour les paramètres selon votre configuration :
    sudo tee -a /etc/yum.repos.d/google-cloud-sdk.repo << EOM
    [google-cloud-cli]
    name=Google Cloud CLI
    baseurl=https://packages.cloud.google.com/yum/repos/cloud-sdk-el9-x86_64
    enabled=1
    gpgcheck=1
    repo_gpgcheck=0
    gpgkey=https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    EOM
    
  2. Si vous effectuez l'installation sur Fedora 34 ou 35, installez libxcrypt-compat.x86_64.
    sudo dnf install libxcrypt-compat.x86_64
  3. Installez gcloud CLI :
    sudo dnf install google-cloud-cli
  4. (Facultatif) Installez l'un des composants supplémentaires suivants :
    • google-cloud-cli
    • google-cloud-cli-anthos-auth
    • google-cloud-cli-app-engine-go
    • google-cloud-cli-app-engine-grpc
    • google-cloud-cli-app-engine-java
    • google-cloud-cli-app-engine-python
    • google-cloud-cli-app-engine-python-extras
    • google-cloud-cli-bigtable-emulator
    • google-cloud-cli-cbt
    • google-cloud-cli-cloud-build-local
    • google-cloud-cli-cloud-run-proxy
    • google-cloud-cli-config-connector
    • google-cloud-cli-datastore-emulator
    • google-cloud-cli-firestore-emulator
    • google-cloud-cli-gke-gcloud-auth-plugin
    • google-cloud-cli-kpt
    • google-cloud-cli-kubectl-oidc
    • google-cloud-cli-local-extract
    • google-cloud-cli-minikube
    • google-cloud-cli-nomos
    • google-cloud-cli-pubsub-emulator
    • google-cloud-cli-skaffold
    • google-cloud-cli-spanner-emulator
    • google-cloud-cli-terraform-validator
    • google-cloud-cli-tests
    • kubectl

    Par exemple, vous pouvez installer le composant google-cloud-cli-app-engine-java comme suit :

    sudo dnf install google-cloud-cli-app-engine-java
  5. Pour commencer, exécutez gcloud init :
    gcloud init

Revenir à une version antérieure de gcloud CLI

Si vous souhaitez rétablir une version spécifique de gcloud CLI, où VERSION est au format 123.0.0, exécutez : sudo dnf downgrade google-cloud-cli-VERSION Les 10 dernières versions seront toujours disponibles dans le dépôt. REMARQUE : Pour les versions antérieures à 371.0.0, le nom du package est google-cloud-sdk.

macOS
  1. Vérifiez que vous disposez d'une version compatible de Python :
    • Pour vérifier votre version actuelle de Python, exécutez python3 -V OU python -V. Les versions compatibles sont Python 3.8 à 3.12.
    • Le script d'installation principal propose d'installer Python 3.11 pour CPython.
    • Sinon, pour installer une version compatible de Python, consultez la page Versions Python pour macOS du site Python.org.
    • Si plusieurs interpréteurs Python sont installés sur votre ordinateur, définissez la variable d'environnement CLOUDSDK_PYTHON dans votre interface système pour qu'elle pointe vers le chemin de l'interpréteur de votre choix.
    • Pour plus d'informations sur le choix et la configuration de votre interpréteur Python, consultez la page gcloud topic startup.
  2. Téléchargez l'un des éléments suivants :
  3. Plate-forme Package Taille Somme de contrôle SHA256
    macOS 64 bits

    (x86_64)

    google-cloud-cli-474.0.0-darwin-x86_64.tar.gz 51,7 Mo b9dd9c4857dd2047571d32096908b23376023ee7d5262f02874f8e92becefd4a
    macOS 64 bits

    (ARM64, Apple M1 silicon)

    google-cloud-cli-474.0.0-darwin-arm.tar.gz 51,7 Mo 01b59ab74e0c3c4764a8360baa6cea3a7993e29c453dfa35378c0730833a6e6b
    macOS 32 bits

    (x86)

    google-cloud-cli-474.0.0-darwin-x86.tar.gz 50,5 Mo 9c8ed9c61af35f4ec7b14f902721b2f64d64b87f538713251749c7dd8f50adaf
    1. Extrayez l'archive dans n'importe quel emplacement de votre système de fichiers, de préférence votre répertoire d'accueil. Sur MacOS, vous pouvez effectuer cette opération en ouvrant le fichier d'archive .tar.gz téléchargé à l'emplacement choisi.

      Pour remplacer une installation existante, supprimez le répertoire google-cloud-sdk existant, puis extrayez l'archive au même emplacement.

    2. (Facultatif) Exécutez le script d'installation pour ajouter les outils gcloud CLI à votre PATH. Vous pouvez également activer l'achèvement de commande pour votre shell, la collecte des statistiques d'utilisation, et installer Python 3.11.

      Exécutez le script (à partir de la racine du dossier que vous avez extrait à la dernière étape) à l'aide de la commande suivante :

      ./google-cloud-sdk/install.sh
      
      This can also be done non-interactively (for example, using a script) by providing preferences as flags. To describe the available flags, run:
      ./google-cloud-sdk/install.sh --help
      
      To run the install script with screen reader mode on:
      ./google-cloud-sdk/install.sh --screen-reader=true
      
      Open a new terminal so that the changes take effect.
    3. To initialize the gcloud CLI, run gcloud init:
    4. ./google-cloud-sdk/bin/gcloud init
      
    5. Optional. Install additional components using the component manager.
Windows
    The Google Cloud CLI works on Windows 8.1 and later and Windows Server 2012 and later.
  1. Download the Google Cloud CLI installer.

    Alternatively, open a PowerShell terminal and run the following PowerShell commands:

    (New-Object Net.WebClient).DownloadFile("https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe", "$env:Temp\GoogleCloudSDKInstaller.exe")
    
    & $env:Temp\GoogleCloudSDKInstaller.exe
        
  2. Lancez le programme d'installation, puis suivez les instructions. Ce programme est signé par Google LLC.

    Si vous utilisez un lecteur d'écran, cochez la case Activer le mode Lecteur d'écran. Cette option configure gcloud pour utiliser des outils de suivi d'état au lieu des icônes de chargement Unicode, afficher la progression sous forme de pourcentage et aplatir les tables. Pour en savoir plus, consultez le guide des fonctionnalités d'accessibilité.

  3. Google Cloud CLI nécessite Python. Les versions compatibles sont Python 3.8 à 3.12. Par défaut, la version Windows de Google Cloud CLI est fournie avec Python 3. Pour utiliser Google Cloud CLI, votre système d'exploitation doit pouvoir exécuter une version compatible de Python.

    Le programme d'installation installe toutes les dépendances nécessaires, y compris la version Python requise. Bien que Google Cloud CLI installe et gère Python 3 par défaut, vous pouvez si nécessaire utiliser une installation Python existante. Pour ce faire, décochez l'option "Installer la version incluse de Python". Pour savoir comment utiliser une installation Python existante, consultez la page gcloud topic startup.

  4. Une fois l'installation terminée, le programme d'installation vous donne la possibilité de créer un menu Démarrer et des raccourcis sur le Bureau, de démarrer le shell de Google Cloud CLI et de configurer gcloud CLI. Veillez à conserver les options pour démarrer le shell et configurer l'installation sélectionnée. Le programme d'installation affiche une fenêtre de terminal, puis exécute la commande gcloud init.

  5. L'installation par défaut n'inclut pas les extensions App Engine requises pour déployer une application à l'aide des commandes gcloud. Ces composants peuvent être installés à l'aide du gestionnaire de composants de gcloud CLI.
Conseils de dépannage :
  • Si l'installation échoue parce que la commande find n'est pas reconnue, assurez-vous que votre variable d'environnement PATH est définie de façon à inclure le dossier contenant find. Il s'agit généralement de C:\WINDOWS\system32;.
  • Si vous avez désinstallé gcloud CLI, vous devez redémarrer votre système avant de l'installer à nouveau.
  • Si la décompression échoue, exécutez le programme d'installation en tant qu'administrateur.

Effectuez des mises à jour à l'aide de la commande components update : gcloud components update.

Configurer des identifiants pour l'accès aux données protégées

Pour accéder à des données protégées ou écrire sur un bucket protégé, vous devez configurer des identifiants (authentification). Par exemple, si une autre personne a créé un compte Cloud Storage et importé des données accessibles seulement à vous-même ou à d'autres personnes, vous devez configurer vos identifiants sur le service Cloud Storage pour pouvoir accéder à ces données.

Lorsque vous utilisez gsutil dans le cadre de Google Cloud CLI, OAuth2 est utilisé pour l'authentification et l'autorisation de l'accès à vos ressources Cloud Storage. Pour établir l'accès, exécutez la commande gcloud init et suivez les instructions fournies dans la ligne de commande, qui incluent la connexion à votre compte utilisateur. Notez que vous avez probablement déjà effectué cette configuration si vous avez suivi les étapes d'installation ci-dessus. Si vous avez déjà exécuté gcloud init, lorsque vous exécutez à nouveau la commande, il vous est demandé si vous souhaitez réinitialiser la configuration ou en créer une nouvelle. Pour en savoir plus, consultez la page Initialiser Google Cloud CLI.

Et voilà ! Vous pouvez désormais accéder aux données protégées. Pour consulter la liste des commandes gsutil, saisissez gsutil dans l'invite de commande.

Dépannage

Si vous essayez d'authentifier gsutil à l'aide de la commande gcloud init, mais que vous ne parvenez toujours pas à accéder aux buckets ou aux objets attendus, votre système peut disposer de l'ancienne version autonome de gsutil et de la version de gsutil groupée par Google Cloud CLI installée sur celle-ci. Exécutez la commande gsutil version -l et vérifiez la valeur de using cloud sdk. Si la valeur est False, votre système utilise la version autonome de gsutil lorsque vous exécutez des commandes. Il est recommandé de supprimer la version autonome de gsutil de votre système. Vous pouvez également vous authentifier à l'aide de gsutil config -a ou gsutil config -e.

Authentifier avec HMAC

Bien qu'il soit recommandé d'utiliser OAuth 2.0 pour authentifier gsutil, vous pouvez également vous servir de clés HMAC pour vos identifiants. Pour vous authentifier avec HMAC, utilisez la commande suivante :

gsutil config -a

L'utilisation de cette commande vous permet de suivre un processus d'authentification, dans lequel vous êtes invité à saisir l'ID d'accès et le code secret associés à votre clé HMAC.

Lors de l'authentification avec des clés HMAC, vous devez désactiver la transmission des identifiants à partir de Google Cloud CLI à l'aide de la commande suivante : gcloud config set pass_credentials_to_gsutil false.

Activer mTLS

Vous pouvez également activer le protocole TLS mutuel (mTLS). Lorsque l'authentification mTLS est activée sur votre appareil, celui-ci tente de se connecter à storage.mtls.googleapis.com. Avant d'autoriser la connexion, Cloud Storage vérifie le certificat sur votre appareil.

Le moyen le plus simple d'obtenir un certificat consiste à utiliser Google Cloud CLI. Vous pouvez en définir une manuellement dans le fichier .boto en définissant les valeurs suivantes sous "Identifiants" :

  1. use_client_certificate : option indiquant si les protocoles TLS doivent être utilisés ou non.
  2. cert_provider_command : commande d'interface système qui affiche un certificat sur stdout à lire par gsutil.

Faites l'essai

Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de Cloud Storage en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Profiter d'un essai gratuit de Cloud Storage