Ligação a contentores do Cloud Storage

Esta página apresenta o Cloud Storage como uma opção para armazenar os seus dados de aprendizagem automática e resultados da preparação, e descreve como conceder ao Cloud TPU acesso aos objetos de dados no Cloud Storage.

Antes de começar

Precisa de uma conta de serviço do Cloud TPU para aceder a um contentor do Cloud Storage.

  1. Crie uma conta de serviço do Cloud TPU para o seu projeto.

    gcloud beta services identity create --service tpu.googleapis.com --project project-id

    O comando devolve uma conta de serviço do Cloud TPU com o seguinte formato:

    service-project-number@cloud-tpu.iam.gserviceaccount.com

  2. Siga as instruções apresentadas nos guias de início rápido do Cloud TPU ou no artigo Gerir TPUs para configurar o seu Google Cloud projeto e criar os recursos de VM e TPU do Cloud TPU.

Escreva dados no Cloud Storage

Consola

  1. Aceda à página do Cloud Storage na Google Cloud consola.

    Aceda à página do Cloud Storage

  2. Crie um novo depósito, especificando as seguintes opções:

    • Um nome exclusivo à sua escolha.
    • Classe de armazenamento predefinida: Standard
    • Localização: a região onde criou a Cloud TPU. Para mais informações sobre as regiões e a disponibilidade das TPUs, consulte o artigo Regiões e zonas de TPUs.

CLI

  1. Use o comando gcloud storage buckets create para criar um contentor do Cloud Storage:

    gcloud storage buckets create gs://bucket-name --location region

    where:

    • region é a região onde criou a Cloud TPU. Para mais informações sobre as regiões e a disponibilidade das TPUs, consulte o artigo Regiões e zonas de TPUs.

    • bucket-name é o nome do contentor que quer criar.

  2. Use o comando gcloud storage cp para escrever ficheiros no contentor do Cloud Storage:

    gcloud storage cp -r local-data-dir gs://bucket-name

    em que local-data-dir é um caminho local para os seus dados. Por exemplo:$HOME/your-data

Conceda ao seu Cloud TPU acesso ao Cloud Storage

Tem de conceder ao Cloud TPU acesso de leitura e escrita aos seus objetos do Cloud Storage. Para tal, tem de conceder o acesso necessário à conta de serviço do Cloud TPU usada pelo Cloud TPU. As secções seguintes mostram como encontrar a conta de serviço do Cloud TPU e conceder o acesso necessário.

Autorize a conta de serviço do Cloud TPU

A forma recomendada de autorizar a conta de serviço do Cloud TPU é através de listas de controlo de acesso (ACLs) detalhadas. Também pode conceder autorizações mais amplas através das autorizações IAM.

Usar ACLs detalhadas para o Cloud TPU (recomendado)

Se armazenar dados de preparação no Cloud Storage, a conta de serviço do Cloud TPU precisa de autorização de leitura e escrita no contentor.

Consola

  1. Aceda à página do navegador do Cloud Storage para ver os contentores que detém.

    Aceda ao navegador do Cloud Storage

  2. Selecione o contentor cuja ACL quer modificar.

  3. Selecione o separador Autorizações.

  4. Selecione Conceder acesso para adicionar uma nova autorização e escreva o nome completo da conta de serviço na caixa de edição Novos membros.

  5. Se estiver a ler a partir deste contentor, tem de autorizar a conta de serviço da TPU a ler a partir do recurso. Para tal, conceda à conta de serviço a função Storage Legacy > Storage Legacy Bucket Reader.

  6. Se estiver a escrever neste contentor, tem de autorizar a conta de serviço do TPU a escrever no recurso. Para tal, conceda à conta de serviço a função Storage Legacy > Storage Legacy Bucket Writer.

CLI

  1. Se estiver a ler a partir deste contentor, conceda autorização de leitura à conta de serviço do Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer

  2. Se estiver a escrever neste contentor, conceda autorização de escrita à conta de serviço do Cloud TPU:

     gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Usar autorizações de IAM para o Cloud TPU (alternativa)

Se quiser conceder autorizações mais amplas em vez de conceder acesso a cada contentor explicitamente, pode conceder a função de administrador do armazenamento da gestão de identidade e de acesso (IAM) à conta de serviço da Cloud TPU.

  1. Aceda ao IAM

  2. Clique no botão Conceder acesso para adicionar responsáveis ao projeto.

  3. Introduza os nomes da conta de serviço do Cloud TPU na caixa de texto Membros.

  4. Clique na lista pendente Funções.

  5. Ative as seguintes funções:

    • Projeto > Visualizador

    • Armazenamento > Administrador de armazenamento

Cloud Storage FUSE

O Cloud Storage FUSE permite-lhe montar e aceder a contentores do Cloud Storage como sistemas de ficheiros locais. Isto permite que as aplicações leiam e escrevam objetos no seu contentor através da semântica do sistema de ficheiros padrão.

Consulte a documentação do Cloud Storage FUSE para ver detalhes sobre o funcionamento do Cloud Storage FUSE e uma descrição de como as operações do Cloud Storage FUSE são mapeadas para as operações do Cloud Storage. Pode encontrar informações adicionais sobre como usar o Cloud Storage FUSE, como instalar a CLI gcsfuse e montar contentores no GitHub.

Limpar

  1. Desligue-se da Cloud TPU, se ainda não o tiver feito:

    (vm)$ exit

  2. No Cloud Shell, elimine o Cloud TPU: 

    gcloud compute tpus tpu-vm delete tpu-name --zone=zone

  3. Verifique se a VM foi eliminada executando gcloud compute tpus tpu-vm list. A eliminação pode demorar vários minutos. 

    gcloud compute tpus tpu-vm list --zone=zone

    Uma resposta como a seguinte indica que as suas instâncias foram eliminadas com êxito.

    Listed 0 items

  4. Execute o seguinte comando para eliminar o contentor do Cloud Storage e o respetivo conteúdo, substituindo bucket-name pelo nome do contentor que criou:

    gcloud storage rm --recursive gs://bucket-name

O que se segue?