Instalar o gsutil

Nesta página, descrevemos a instalação e a configuração da gsutil, uma ferramenta que permite acessar o Cloud Storage a partir da linha de comando usando HTTPS.

Basta instalar o gsutil para ter acesso imediato de gravação e/ou leitura a dados públicos. A autenticação no serviço Cloud Storage permite que você leia e/ou grave acesso a dados protegidos que foram compartilhados com você. Ao ativar o faturamento, você pode criar e gerenciar seus próprios buckets.

Requisitos do sistema

  • A ferramenta gsutil é executada em Linux/Unix, Mac OS e Windows (XP ou posterior).

  • As versões 5.0 e posteriores da gsutil exigem o Python 3.

  • Se você pretende usar objetos compostos, precisará instalar o crcmod compilado. No Windows, ele está disponível apenas para o Python de 32 bits.

Como instalar o gsutil

O método de instalação e atualização do gsutil com suporte oficial faz parte do SDK do Google Cloud.

Como instalar o gsutil como parte do SDK do Google Cloud

Siga as instruções do seu sistema operacional para instalar o gsutil como parte do SDK do Google Cloud:

Linux
  1. Confirme se você tem uma versão compatível do Python. O SDK do Cloud requer o Python 3 (de 3.7 a 3.8) ou o Python 2 (2.7.9 ou superior). Para informações sobre como escolher e configurar o interpretador do Python, consulte gcloud topic startup.
  2. Faça o download de um dos seguintes itens:
    Plataforma Pacote Tamanho Soma de verificação SHA256
    Linux de 64 bits

    (x86_64)

    google-cloud-sdk-365.0.0-linux-x86_64.tar.gz 92,7 MB 81d0ad64dca3e97d02e873d386bafcc77b416d7c9b45e5ec2387e5075b133fc0
    Linux de 64 bits

    (arm)

    google-cloud-sdk-365.0.0-linux-arm.tar.gz 90,1 MB 0d5074e2566d0617fae408b0f40c82be2487a95de7e84a772ad43b66da4c224a
    Linux de 32 bits

    (x86)

    google-cloud-sdk-365.0.0-linux-x86.tar.gz 90,1 MB 26de2a21039ddf9713b71e090244f0ae57f252ec8d0ab14c2d594c8a5bcc6c4b

    Como alternativa, para fazer o download do arquivo de 64 bits do Linux, na linha de comando, execute:

    curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-365.0.0-linux-x86_64.tar.gz

    Para fazer o download do arquivo de 64 bits, execute:

    curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-365.0.0-linux-arm.tar.gz

    Para fazer o download do arquivo de 32 bits, execute:

    curl -O https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-365.0.0-linux-x86.tar.gz
  3. Extraia o conteúdo do arquivo em qualquer local no sistema de arquivos (preferencialmente o diretório Início). Para substituir uma instalação atual, remova o diretório google-cloud-sdk atual e extraia o arquivo para o mesmo local.
  4. Se você quiser enviar estatísticas de uso anônimas para ajudar a aprimorar o SDK do Cloud, responda Y quando solicitado.
  5. Para adicionar ferramentas de linha de comando do SDK do Cloud ao seu PATH e ativar o preenchimento do comando, responda Y quando solicitado.
  6. Opcional. Use o script de instalação para adicionar ferramentas do SDK do Cloud ao seu PATH. Também é possível ativar a conclusão do comando no shell e a coleta de estatísticas de uso.

    Execute o script na raiz da pasta extraída usando o seguinte comando:

    ./google-cloud-sdk/install.sh
    
    Isso também pode ser feito de maneira não interativa (por exemplo, usando um script) e fornecendo preferências como sinalizações. Eles são descritos em:
    ./google-cloud-sdk/install.sh --help
    
    Abra um novo terminal para as alterações entrarem em vigor.
  7. Para inicializar o SDK, execute gcloud init:
  8. ./google-cloud-sdk/bin/gcloud init
    
  9. Opcional. Instale componentes extras usando o gerenciador de componentes.
Debian/Ubuntu

Conteúdo do pacote

O SDK do Cloud está disponível no formato de pacote para instalação em sistemas Debian e Ubuntu. O pacote contém apenas os comandos gcloud, gcloud alpha, gcloud beta, gsutil e bq. Ele não inclui kubectl ou as extensões do App Engine necessárias para implantar um aplicativo usando os comandos gcloud. Se você quiser esses componentes, instale-os separadamente.

Antes de começar

Antes de instalar o SDK do Cloud, verifique se o sistema operacional atende aos seguintes requisitos:

Instalação
  1. Adicione o URI de distribuição do SDK do Cloud como a origem do pacote. Se a distribuição for compatível com a opção "assinado por", execute o seguinte comando:
    echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list

    Se a distribuição não for compatível com a opção "assinado por", execute o seguinte comando:

    echo "deb https://packages.cloud.google.com/apt cloud-sdk main" | sudo tee -a /etc/apt/sources.list.d/google-cloud-sdk.list
  2. Importe a chave pública do Google Cloud. Se o comando apt-key da distribuição for compatível com o argumento --keyring, execute o comando a seguir:
    curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key --keyring /usr/share/keyrings/cloud.google.gpg add -

    Se o comando apt-key da sua distribuição não for compatível com o argumento --keyring, execute o seguinte comando:

    curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo apt-key add -

    Se não for possível receber as atualizações mais recentes devido a uma chave expirada, consiga o arquivo de chave apt-get.gpg mais recente.

  3. Atualize e instale o SDK do Cloud:
    sudo apt-get update && sudo apt-get install google-cloud-sdk
    Para mais opções de apt-get, como desativação de prompts ou simulações, consulte as páginas de manual de apt-get (em inglês).

    Dica do Docker: se você estiver instalando o SDK do Cloud dentro de uma imagem do Docker, use uma única etapa RUN:

    RUN echo "deb [signed-by=/usr/share/keyrings/cloud.google.gpg] http://packages.cloud.google.com/apt cloud-sdk main" | tee -a /etc/apt/sources.list.d/google-cloud-sdk.list && curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key --keyring /usr/share/keyrings/cloud.google.gpg  add - && apt-get update -y && apt-get install google-cloud-sdk -y
          
  4. Se quiser, instale qualquer um dos seguintes componentes adicionais:
    • google-cloud-sdk-app-engine-python
    • google-cloud-sdk-app-engine-python-extras
    • google-cloud-sdk-app-engine-java
    • google-cloud-sdk-app-engine-go
    • google-cloud-sdk-bigtable-emulator
    • google-cloud-sdk-cbt
    • google-cloud-sdk-cloud-build-local
    • google-cloud-sdk-datalab
    • google-cloud-sdk-datastore-emulator
    • google-cloud-sdk-firestore-emulator
    • google-cloud-sdk-pubsub-emulator
    • kubectl

    Por exemplo, o componente google-cloud-sdk-app-engine-java pode ser instalado da seguinte maneira:

    sudo apt-get install google-cloud-sdk-app-engine-java
  5. Execute gcloud init para começar:
    gcloud init

Como fazer downgrade das versões do SDK do Cloud

Para reverter para uma versão específica do SDK do Cloud, em que VERSION é o formato 123.0.0, execute o seguinte comando:

sudo apt-get update && sudo apt-get install google-cloud-sdk=123.0.0-0

As 10 versões mais recentes estão sempre disponíveis no repositório.

Red Hat/Fedora/CentOS

Conteúdo do pacote

O SDK do Cloud está disponível no formato de pacote para instalação nos sistemas Red Hat Enterprise Linux 7, Red Hat Enterprise Linux 8, Fedora 33 e CentOS 7 e 8. O pacote contém apenas os comandos gcloud, gcloud alpha, gcloud beta, gsutil e bq. Ele não inclui kubectl ou as extensões do App Engine necessárias para implantar um aplicativo usando comandos gcloud, que podem ser instalados separadamente conforme descrito posteriormente nesta seção.

Instalação
  1. Atualize o DFN com as informações de repositório do SDK do Cloud: O exemplo de comando a seguir é para uma instalação compatível com o Red Hat Enterprise Linux. Para uma instalação compatível com o Red Hat Enterprise Linux 7, substitua el8 por el7 no valor de baseUrl.
    sudo tee -a /etc/yum.repos.d/google-cloud-sdk.repo << EOM
    [google-cloud-sdk]
    name=Google Cloud SDK
    baseurl=https://packages.cloud.google.com/yum/repos/cloud-sdk-el8-x86_64
    enabled=1
    gpgcheck=1
    repo_gpgcheck=0
    gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
           https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
    EOM
    
  2. Instale o Cloud SDK:
    sudo dnf install google-cloud-sdk
  3. Se preferir, instale qualquer um destes componentes extras:
    • google-cloud-sdk-app-engine-python
    • google-cloud-sdk-app-engine-python-extras
    • google-cloud-sdk-app-engine-java
    • google-cloud-sdk-app-engine-go
    • google-cloud-sdk-bigtable-emulator
    • google-cloud-sdk-cbt
    • google-cloud-sdk-cloud-build-local
    • google-cloud-sdk-datalab
    • google-cloud-sdk-datastore-emulator
    • google-cloud-sdk-firestore-emulator
    • google-cloud-sdk-pubsub-emulator
    • kubectl

    Por exemplo, o componente google-cloud-sdk-app-engine-java pode ser instalado da seguinte maneira:

    sudo dnf install google-cloud-sdk-app-engine-java
  4. Execute gcloud init para começar:
    gcloud init

Como fazer downgrade das versões do SDK do Cloud

Se você quiser reverter para uma versão específica do SDK do Cloud, em que VERSION esteja no formato 123.0.0, execute: sudo dnf downgrade google-cloud-sdk-VERSION Os 10 lançamentos mais recentes sempre estarão disponíveis no repositório.

macOS
  1. Confirme se você tem uma versão compatível do Python:
    • As versões compatíveis são Python 3 (3.5 a 3.8, 3.7 recomendada) e Python 2 (2.7.9 ou superior).
    • As versões modernas do macOS incluem a versão adequada do Python exigida para o SDK do Cloud. Para verificar a versão atual do Python, execute python -V.
    • Para a versão de lançamento 352.0.0 e mais recentes do SDK do Cloud, o script de instalação principal oferece a instalação do Python 3.7 do CPython em Macs baseados em Intel.
    • Para mais informações sobre como escolher e configurar seu interpretador do Python, consulte gcloud topic startup.
  2. Faça o download de um dos seguintes itens:
  3. Plataforma Pacote Tamanho Soma de verificação SHA256
    macOS de 64 bits

    (x86_64)

    google-cloud-sdk-365.0.0-darwin-x86_64.tar.gz 93.2 MB 9e05d06a5067361d3c47866d293ee23c2e9d87f2fb505b6cf39a535910bb4810
    macOS de 64 bits

    (arm64, Apple M1 Silicon)

    google-cloud-sdk-365.0.0-darwin-arm.tar.gz 93.2 MB 477886b3a4fe7444bd3aa89afdd1b7d39977dea09699bd8b8b8a884cbc49e9e5
    macOS de 32 bits

    (x86)

    google-cloud-sdk-365.0.0-darwin-x86.tar.gz 97.0 MB ce776030bd83d6e6a27ec89fffddad61ede8a55f51c30fec3869c335be9dc5ea

    1. Extraia o arquivo para qualquer local no seu sistema de arquivos, de preferência no diretório principal. No macOS, isso pode ser feito abrindo o arquivo .tar.gz salvo no local de preferência.

      Para substituir uma instalação atual, remova o diretório google-cloud-sdk atual e extraia o arquivo para o mesmo local.

    2. Opcional. Use o script de instalação para adicionar ferramentas do SDK do Cloud ao seu PATH.

      Também é possível ativar a conclusão do comando para a coleta e a coleta de estatísticas de uso do shell e, opcionalmente, instalar o Python 3.7.

      Execute o script (na raiz da pasta extraída na última etapa) usando este comando:

      ./google-cloud-sdk/install.sh
      
      Isso também pode ser feito de maneira não interativa (por exemplo, usando um script) fornecendo preferências como sinalizações. Eles são descritos em:
      ./google-cloud-sdk/install.sh --help
      
      Para executar o script de instalação com o modo de leitor de tela ativado:
      ./google-cloud-sdk/install.sh --screen-reader=true
      
      Abra um novo terminal para as alterações entrarem em vigor.
    3. Execute gcloud init para inicializar o SDK:
    4. ./google-cloud-sdk/bin/gcloud init
      
    5. Opcional. Instale componentes adicionais usando o gerenciador de componentes.
Windows
  1. Faça o download do Instalador do SDK do Cloud.

    Se preferir, abra um terminal do PowerShell e execute os comandos a seguir:

    (New-Object Net.WebClient).DownloadFile("https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe", "$env:Temp\GoogleCloudSDKInstaller.exe")
    
    & $env:Temp\GoogleCloudSDKInstaller.exe
        
  2. Inicie o instalador e siga os prompts. O instalador é assinado pela Google LLC.

    Se você estiver usando um leitor de tela, marque a caixa de seleção Ativar modo leitor de tela. Essa opção configura gcloud para usar rastreadores de status em vez de spinners unicode, exibir o progresso como uma porcentagem e nivelar tabelas. Para mais informações, consulte o Guia de recursos de acessibilidade.

  3. O SDK do Cloud requer o Python. As versões compatíveis são Python 3 (preferencial, 3.5 a 3.8) e Python 2 (2.7.9 ou superior). O SDK do Cloud vem com o Python 3 por padrão. Para usar o SDK do Cloud, seu sistema operacional precisa ser capaz de executar uma versão compatível do Python.

    O instalador instala todas as dependências necessárias, incluindo a versão necessária do Python. Embora o SDK do Cloud instale e gerencie o Python 3 por padrão, é possível usar uma instalação atual do Python ao desmarcar a opção de instalar o Bundled Python, se necessário. Consulte gcloud topic startup para saber como usar uma instalação existente do Python.

  4. Após a conclusão da instalação, o instalador oferece a opção de criar os atalhos do menu Iniciar e na área de trabalho, iniciar o shell do SDK do Cloud e configurar o SDK do Cloud. Deixe as opções para iniciar o shell e configurar a instalação selecionadas. O instalador inicia uma janela de terminal e executa o comando gcloud init.

  5. A instalação padrão não inclui as extensões do App Engine necessárias para implantar um aplicativo usando comandos gcloud. Para instalar esses componentes, use o gerenciador de componentes do SDK do Cloud.
Dicas de solução de problemas:
  • Se a instalação não for bem-sucedida devido ao comando find não ter sido reconhecido, verifique se sua variável de ambiente PATH está definida para incluir a pasta que contém find. Geralmente, isso é C:\WINDOWS\system32;.
  • Se você acabou de desinstalar o SDK do Cloud, reinicialize o sistema antes de instalá-lo novamente.
  • Se a descompactação falhar, execute o instalador como um administrador.

Execute as atualizações com o comando components update: gcloud components update.

Para saber como usar o gsutil, consulte o Guia de início rápido: como usar a ferramenta gsutil ou execute gsutil help.

Métodos alternativos de instalação

Há várias maneiras de instalar o gsutil como um produto independente. Você pode preferir um desses métodos se não quiser nenhum dos outros componentes fornecidos com o SDK do Cloud ou se estiver gerenciando pacotes com o PyPI.

Se você estiver instalando a gsutil 5.0 ou superior, será necessário ter o Python 3 instalado no computador, preferencialmente das versões 3.5 a 3.8. No entanto, o Python 3 é instalado por padrão na maioria das distribuições do Linux e do macOS:

  • O Python 3 não é instalado por padrão no Windows, mas pode ser instalado manualmente.
  • O Python 3 pode não estar instalado por padrão no CentOS ou no RHEL. Se ele não estiver instalado, ele pode ser instalado manualmente.

Expanda o método desejado para ver instruções sobre como instalar a gsutil.

Como configurar credenciais para acessar dados protegidos

A instalação da gsutil permite acessar e fazer o download de dados acessíveis publicamente. No entanto, para acessar dados protegidos ou gravar em um bloco protegido, é necessário configurar as credenciais (autenticar). Por exemplo, se outra pessoa criou uma conta do Cloud Storage e fez upload de dados que só podem ser acessados por você ou por outras pessoas específicas, configure suas credenciais para que o serviço do Cloud Storage consiga acessar esses dados.

Se você instalou o gsutil como parte do SDK do Google Cloud, siga as instruções a seguir. Caso contrário, consulte a seção Autenticar o gsutil independente.

Autenticar o SDK do Google Cloud

Ao usar o gsutil como parte do SDK do Google Cloud, o OAuth2 é usado para autenticar e autorizar o acesso. Talvez você já tenha realizado as etapas abaixo se tiver seguido a seção Como instalar o gsutil como parte do SDK do Google Cloud acima. Se você já executou gcloud init, será perguntado se quer reinicializar a configuração ou criar uma nova.

  1. Abra uma instância do prompt de comando.

  2. Execute gcloud init no prompt de comando.

    Será gerada a seguinte saída:

    Welcome! This command will take you through the configuration of gcloud.
     
    Your current configuration has been set to: [default]
     
    To continue, you must login. Would you like to login (Y/n)?
    

  3. Digite "Y" e pressione Enter para fazer login.

    • O comando imprime um URL e tenta abrir uma janela do navegador para solicitar o acesso ao projeto. Se uma janela do navegador for aberta, você receberá a saída a seguir:

      Your browser has been opened to visit:
       
      https://accounts.google.com/o/oauth2/auth?redirect_uri=http%3A%2F%2F...
      

      Vá para a próxima etapa.

    • Se você estiver trabalhando em uma máquina local e seu navegador não carregar automaticamente o URL, tente executar novamente o comando gcloud init com a sinalização --console-only:

      gcloud init --console-only
      

      Se você usar esse comando ou se o SDK do Cloud detectar que um navegador não pode ser aberto (por exemplo, se você estiver trabalhando em uma máquina remota), será gerada a saída a seguir:

      Go to the following link in your browser:
       
      https://accounts.google.com/o/oauth2/auth?redirect_uri=urn%3Aietf%3Awg%3A...
       
      Enter verification code:
      

      Abra um navegador e navegue até o URL fornecido.

  4. Se solicitado, faça login com a Conta do Google associada aos seus dados do Cloud Storage na janela do navegador.

  5. Conceda acesso.

    • Se a janela do navegador abrir automaticamente, revise as permissões do aplicativo e clique em Aceitar quando estiver pronto. O código de verificação é enviado automaticamente para a ferramenta de linha de comando.

    • Se você estiver trabalhando em uma máquina remota ou usou a sinalização --console-only, copie o código de verificação do URL e cole-o na linha de comando do terminal, após Digite o código de verificação:.

  6. Escolha o projeto padrão para essa configuração.

    Depois de configurar suas credenciais, a ferramenta de linha de comando gcloud solicitará que você informe um projeto padrão para essa configuração e fornecerá uma lista de projetos disponíveis. Selecione um ID do projeto da lista.

    Quando você define essa propriedade, os comandos gsutil que exigem um projeto, como gsutil mb, usam o ID do projeto padrão, a menos que você os modifique com a sinalização -p ou defina a variável de ambiente CLOUDSDK_CORE_PROJECT.

Pronto. Já é possível acessar os dados protegidos. Para ver uma lista de comandos gsutil, digite gsutil no prompt de comando.

Autenticar o gsutil independente

Autenticar com HMAC

O OAuth 2.0 é o meio de autenticação recomendado para o gsutil. No entanto, também é possível usar chaves HMAC como credenciais. Para autenticar com HMAC, use a sinalização -a no comando gsutil config:

gsutil config -a

Ao usar esse comando, você passa por um processo semelhante à autenticação do gsutil independente (consulte a seção anterior). No entanto, será solicitado que você informe o ID de acesso e o secret associados à chave HMAC.

Se você estiver usando o SDK do Google Cloud, também precisará desativar a passagem de credenciais usando este comando:

gcloud config set pass_credentials_to_gsutil false

Ativar o mTLS

Também é possível ativar o TLS mútuo (mTLS, na sigla em inglês). Quando o mTLS está ativado no dispositivo, ele tenta se conectar a storage.mtls.googleapis.com. Antes que a conexão seja permitida, o Cloud Storage verifica o certificado no dispositivo.

A maneira mais simples de conseguir um certificado é pelo SDK do Google Cloud. É possível definir um manualmente no arquivo .boto definindo os seguintes valores em "Credentials":

  1. use_client_certificate: uma sinalização que controla se o mTLS será usado ou não
  2. cert_provider_command: um comando de shell que imprime um certificado no stdout para que a gsutil leia.

Faça um teste

Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho do Cloud Storage em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

Faça uma avaliação gratuita do Cloud Storage