Como se conectar a buckets do Cloud Storage

Nesta página, apresentamos o Cloud Storage como uma opção para armazenar dados de machine learning e resultado do treinamento. Também descrevemos como conceder ao Cloud TPU acesso aos objetos de dados no Cloud Storage.

Antes de começar

É preciso ter uma conta de serviço do Cloud TPU para acessar um bucket do Cloud Storage.

Observação: depois de configurar uma conta de serviço para seu projeto, ela permanecerá definida enquanto o projeto estiver ativo. Você não precisa configurar a conta de serviço sempre que executar um treinamento no mesmo projeto.

1. Crie uma conta de serviço do Cloud TPU para seu projeto.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

   [e-mail]
   

   Importante: esse comando cria um agente de serviço, um tipo especial de conta de serviço gerenciada pelo Google que não está listado na página "Contas de serviço" no console do Google Cloud.

2. Siga as instruções encontradas no guia de início rápido do Cloud TPU ou do documento Como criar e excluir TPUs para configurar o projeto do Google Cloud e criar sua VM do Cloud TPU e recursos da TPU.

Como gravar dados no Cloud Storage

Observação: configure o bucket do Cloud Storage no mesmo local (região) em que você configurou o Cloud TPU. Consulte Criar buckets para ver todas as opções disponíveis para gerenciar buckets de armazenamento.

Console

1. Acesse a página do Cloud Storage no console do Google Cloud.

   Acessar a página do Cloud Storage

2. Crie um novo bucket especificando as opções a seguir:

   • Um nome exclusivo à sua escolha
   • Classe de armazenamento padrão: Standard
   • Local: us-central1

gsutil

1. Use o comando gsutil mb para criar um bucket do Cloud Storage:

   gsutil mb -l region gs://bucket-name/

   onde:

   • region é a região em que você criou o Cloud TPU. Por exemplo, us-central1. O Cloud TPU está disponível nas regiões a seguir:

     EUA

     Cloud TPU v2 e Preemptiva v2	us-central1
     Cloud TPU v3 e Preemptiva v3	us-central1
     Cloud TPU v4 e Preemptiva v4	us-central2
     Pod da Cloud TPU v2	us-central1
     Pod do Cloud TPU v4	us-central2

     Europa

     Cloud TPU v2 e Preemptiva v2	europe-west4
     Cloud TPU v3 e Preemptiva v3	europe-west4
     Pod da Cloud TPU v2	europe-west4
     Pod da Cloud TPU v3	europe-west4

     Ásia-Pacífico

     Cloud TPU v2 e Preemptiva v2

     asia-east1

   • bucket-name é o nome do bucket que você quer criar.

2. Use o comando gsutil cp para gravar arquivos no bucket do Cloud Storage:

   gsutil cp -r local-data-dir gs://bucket-name

   em que local-data-dir é um caminho local para seus dados. Por exemplo:$HOME/your-data

Como conceder ao Cloud TPU acesso ao Cloud Storage

É necessário conceder à Cloud TPU acesso de leitura/gravação aos objetos do Cloud Storage. Para isso, conceda o acesso necessário à conta de serviço do Cloud TPU usada pelo Cloud TPU. Siga estas etapas para encontrar a conta de serviço do Cloud TPU e conceder o acesso necessário:

Autorizar a conta de serviço do Cloud TPU

Como usar Access Control Lists (ACLs) refinadas para o Cloud TPU (recomendado)

Se você armazenar dados de treinamento no Cloud Storage, será necessário conceder à conta de serviço do Cloud TPU permissão de leitura e gravação no bucket.

Console

1. Acesse a página do navegador do Cloud Storage para ver seus buckets.

   Acessar o navegador do Cloud Storage

2. Selecione o bucket cuja ACL você quer modificar.

3. Selecione a guia Permissions.

4. Selecione Add para adicionar uma nova permissão e digite o nome completo da conta de serviço na caixa de edição New Principals.

5. Se você estiver lendo esse bucket, autorize a conta de serviço da TPU a ler esse recurso. Isso pode ser feito concedendo o papel Storage Legacy > Storage Legacy Bucket Reader à conta de serviço.

6. Se você estiver gravando nesse bucket, autorize a conta de serviço da TPU a gravar nesse recurso. Isso pode ser feito concedendo o papel Storage Legacy > Storage Legacy Bucket Writer à conta de serviço.

gsutil

1. Se você estiver lendo esse intervalo, conceda a permissão de leitura à conta de serviço do Cloud TPU.

    gsutil acl ch -u tpu-service-account:READER gs://bucket-name

2. Se você estiver gravando nesse bucket, conceda a permissão de gravação à conta de serviço do Cloud TPU:

    gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name

Como usar permissões do IAM para o Cloud TPU (alternativa)

Se você quiser conceder permissões mais amplas, em vez de permitir explicitamente o acesso a cada bucket, conceda à conta de serviço do Cloud TPU o papel de Administrador do Storage no Identity Access Management (IAM).

1. Acesse a página do IAM do projeto.

   Acessar IAM

2. Clique no botão +Adicionar para adicionar principais ao projeto.

3. Insira os nomes da conta de serviço do Cloud TPU na caixa de texto Principais.

4. Clique na lista suspensa Papéis.

5. Ative os seguintes papéis:

   • Projeto > Leitor

   • Storage > Administrador do Storage

A seguir

• Para saber mais sobre como criar buckets do Cloud Storage e fazer gravações neles, consulte a documentação do Cloud Storage.
• Para mais informações sobre contas de serviço, consulte a visão geral sobre autenticação.