Como se conectar a intervalos do Cloud Storage

Nesta página, apresentamos o Cloud Storage como uma opção para armazenar dados de aprendizado de máquina. Também descrevemos como conceder ao Cloud TPU acesso aos objetos de dados no Cloud Storage.

Antes de começar

Siga o guia de início rápido do Cloud TPU ou o guia de configuração personalizada para configurar seu projeto do Google Cloud Platform, criar uma VM do Compute Engine e criar um recurso do Cloud TPU.

Como gravar dados no Cloud Storage

  1. Use o comando gsutil mb para criar um intervalo do Cloud Storage:

    gsutil mb -l ${TPU_ZONE} gs://YOUR-BUCKET-NAME/
    

    em que:

    • TPU_ZONE é a zona em que o Cloud TPU foi criado. O Cloud TPU está disponível nas seguintes zonas:

      • Estados Unidos (EUA)
        • us-central1-b
        • us-central1-c
        • us-central1-f (apenas o programa TFRC)
      • Europa (EU)
        • europe-west4-a
      • Ásia-Pacífico (APAC)
        • asia-east1-c

    • YOUR-BUCKET-NAME é o nome do intervalo que você quer criar.

  2. Use o comando gsutil cp para gravar arquivos no intervalo do Cloud Storage:

    gsutil cp -r ${LOCAL_DATA_DIR} ${CLOUD_DATA_DIR}
    

    em que:

    • LOCAL_DATA_DIR é um caminho local para seus dados. Por exemplo: $HOME/your-data;
    • CLOUD_DATA_DIR é um caminho no Cloud Storage. Por exemplo: gs://YOUR-BUCKET-NAME.

Como conceder ao Cloud TPU acesso ao Cloud Storage

É necessário conceder ao Cloud TPU acesso de leitura/gravação nos objetos do Cloud Storage. Para tanto, conceda à conta de serviço usada pelo Cloud TPU o acesso necessário. Siga as etapas abaixo para descobrir a conta de serviço do Cloud TPU e conceder o acesso necessário.

Localizar a conta de serviço do Cloud TPU

  1. Determine o nome da conta de serviço do Cloud TPU. O nome segue este formato: service-[PROJECT_NUMBER]@cloud-tpu.iam.gserviceaccount.com.

    Veja como descobrir o número do projeto.

Localizar a conta de serviço de computação

Antes de 27 de junho de 2018, qualquer Cloud TPU criado tem acesso aos recursos do Cloud Storage por meio de uma conta de serviço de computação. Até essa data, o acesso de leitura e gravação não é possível sem autorizar essa conta de serviço de computação.

Console

  1. Acesse a página do Cloud TPU para ver os nodes em execução no momento.

    Acessar a página do Cloud TPU

  2. Clique em qualquer Cloud TPU para visualizar uma descrição detalhada.

  3. Copie o nome da conta de serviço no campo abaixo do cabeçalho Service account. O nome tem o formato de um endereço de e-mail, como 12345-compute@developer.gserviceaccount.com.

gcloud

  1. Liste as TPUs para descobrir os nomes delas:

    $ gcloud compute tpus list

  2. Use o comando describe para descobrir a conta de serviço do Cloud TPU, substituindo YOUR-TPU-NAME pelo nome do Cloud TPU:

    $ gcloud compute tpus describe YOUR-TPU-NAME

  3. Copie o nome da conta de serviço na saída do comando describe. O nome tem o formato de um endereço de e-mail, como 12345-compute@developer.gserviceaccount.com.

Autorizar as contas de serviço

Se você armazenar dados de treinamento no Cloud Storage, precisará permitir que as contas de serviço do Cloud TPU leiam dados do intervalo.

Console

  1. Acesse a página do navegador do Cloud Storage para ver seus intervalos.

    Acessar o navegador do Cloud Storage

  2. Procure o intervalo com a ACL que você quer modificar.

  3. Nesse intervalo, selecione Edit Bucket Permissions.

  4. Se você estiver fazendo leituras nesse intervalo, precisará conceder autorização de leitura do recurso às duas contas de serviço. Para tanto, conceda o papel Storage Legacy > Storage Legacy Bucket Reader às duas contas de serviço.

  5. Se você estiver fazendo gravações nesse intervalo, precisará conceder autorização de gravação no recurso às duas contas de serviço. Para tanto, conceda o papel Storage Legacy > Storage Legacy Bucket Writer às duas contas de serviço.

gsutil

  1. Se você estiver fazendo leituras nesse intervalo, então, para cada conta de serviço, execute:

    gsutil acl ch -u [SERVICE_ACCOUNT]:READER gs://[BUCKET_NAME]

  2. Se você estiver fazendo gravações nesse intervalo, então, para cada conta de serviço, execute:

    gsutil acl ch -u [SERVICE_ACCOUNT]:WRITER gs://[BUCKET_NAME]

Como usar permissões do IAM para o Cloud TPU (alternativa)

Se você quiser conceder permissões mais amplas, em vez de permitir explicitamente o acesso a cada intervalo, conceda à conta de serviço do Cloud TPU o papel de Administrador do Storage no Identity Access Management (IAM).

  1. Acesse a página do Cloud IAM do projeto.

    Acessar o Cloud IAM

  2. Clique no botão +Adicionar para incluir membros no projeto.

  3. Insira os nomes das contas de serviço do Cloud TPU na caixa de texto Membros.

  4. Clique na lista suspensa Papéis.

  5. Ative os seguintes papéis:

    • Projeto > Leitor

    • Storage > Administrador de objetos do Storage

Próximas etapas

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…