Conéctate a depósitos de Cloud Storage

En esta página, se presenta Cloud Storage como una opción de almacenamiento para datos de aprendizaje automático y resultado de entrenamiento y se describe cómo otorgar a tu Cloud TPU acceso a los objetos de datos en Cloud Storage.

Antes de comenzar

Necesitas una cuenta de servicio de Cloud TPU para acceder a un bucket de Cloud Storage bucket.

Nota: Una vez que configures una cuenta de servicio para tu proyecto, esta permanecerá establecida mientras el proyecto esté activo; no tienes que configurar la cuenta de servicio cada cada vez que ejecutas un entrenamiento en el mismo proyecto.

1. Crea una cuenta de servicio de Cloud TPU para tu proyecto.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

   El comando muestra una cuenta de servicio de Cloud TPU con el siguiente formato:

   [e-mail]
   

   Importante: Este comando crea un agente de servicio, un tipo especial de cuenta de servicio administrada por Google que no aparece en la página Cuentas de servicio de la consola de Google Cloud.

2. Sigue las instrucciones que se encuentran en la guía de inicio rápido de Cloud TPU o en el documento sobre cómo crear y borrar TPU para configurar tu proyecto de Google Cloud y crear tu VM y recursos de TPU de Cloud TPU.

Escribe datos en Cloud Storage

Nota: Configura el depósito de Cloud Storage en la misma ubicación (región) en la que configuraste la Cloud TPU. Consulta Crea buckets para ver todas las opciones disponibles para administrar buckets de almacenamiento.

Console

1. Ve a la página de Cloud Storage en la consola de Google Cloud.

   Ir a la página de Cloud Storage

2. Crea un bucket nuevo y especifica las siguientes opciones:

   • Un nombre único de tu elección
   • Clase de almacenamiento predeterminada: Standard
   • Ubicación: us-central1

CLI

1. Usa el comando gcloud storage buckets create para crear un bucket de Cloud Storage:

   gcloud storage buckets create gs://bucket-name --location region

   Donde:

   • region es la región en la que creaste la Cloud TPU. Para obtener más información sobre las regiones y la disponibilidad de las TPU, consulta Regiones y zonas de TPU.

   • bucket-name es el nombre del bucket que deseas crear.

2. Usa el comando gcloud storage cp para escribir archivos en el bucket de Cloud Storage:

   gcloud storage cp -r local-data-dir gs://bucket-name

   local-data-dir es una ruta local a tus datos. Por ejemplo:$HOME/your-data

Otorga a Cloud TPU acceso a Cloud Storage

Debes otorgarle a tu Cloud TPU acceso de lectura y escritura a tu Objetos de Cloud Storage. Para hacerlo, debes otorgar el acceso requerido a la cuenta de servicio de Cloud TPU que usa la Cloud TPU. Sigue estos pasos para encontrar la Cuenta de Servicio de Cloud TPU y otorgar el acceso necesario:

Autoriza la cuenta de servicio de Cloud TPU

Utiliza LCA detalladas para Cloud TPU (recomendado)

Si almacenas datos de entrenamiento en Cloud Storage, la cuenta de servicio de Cloud TPU necesita permiso de lectura y escritura en el bucket.

Console

1. Ve a la página del navegador de Cloud Storage para ver tus depósitos.

   Ir al navegador de Cloud Storage

2. Selecciona el bucket cuya LCA deseas modificar.

3. Selecciona la pestaña Permissions.

4. Selecciona Add para agregar un permiso nuevo y escribe el nombre completo de la cuenta de servicio en el cuadro de edición New Principals.

5. Si estás leyendo desde este bucket, debes permitir que la cuenta de servicio de TPU lea desde el recurso. Para ello, otorga la función de Storage Legacy > Storage Legacy Bucket Reader a la cuenta de servicio.

6. Si estás escribiendo en este bucket, debes permitir que la cuenta de servicio de TPU escriba en el recurso. Para ello, otorga la función de Storage Legacy > Storage Legacy Bucket Writer a la cuenta de servicio.

CLI

1. Si estás leyendo desde este bucket, otórgale a la cuenta de servicio de TPU permiso de lectura:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectViewer
    

2. Si escribes en este bucket, otorga permiso de escritura a la cuenta de servicio de TPU:

    gcloud storage buckets add-iam-policy-binding gs://bucket-name --member=serviceAccount:service-account --role=roles/storage.objectCreator

Usa permisos de IAM para Cloud TPU (alternativa)

Si deseas otorgar más permisos en lugar de otorgar acceso a cada bucket de manera explícita, puedes otorgar a la cuenta de servicio de Cloud TPU el rol de administrador de almacenamiento de la Administración de identidades y acceso (IAM).

1. Ir a IAM

2. Haz clic en el botón +Agregar para agregar principales al proyecto.

3. Ingresa los nombres de las cuentas de servicio de Cloud TPU en el cuadro de texto Principales.

4. Haz clic en la lista desplegable Funciones.

5. Habilita las siguientes funciones:

   • Proyecto > Visualizador

   • Almacenamiento > Administrador de almacenamiento

Cloud Storage FUSE

Cloud Storage FUSE te permite activar y acceder a los buckets de Cloud Storage como sistemas de archivos locales. Esto permite que las aplicaciones lean y escriban objetos en tu bucket con la semántica del sistema de archivos estándar.

Consulta la documentación de Cloud Storage FUSE para obtener detalles sobre cómo funciona Cloud Storage FUSE y una descripción de cómo las operaciones de Cloud Storage FUSE se asignan a las operaciones de Cloud Storage. Puedes encontrar información adicional sobre cómo usar Cloud Storage FUSE, como cómo instalar la CLI de gcsfuse y activar buckets en GitHub.

¿Qué sigue?

• Obtén más información sobre la creación de buckets de Cloud Storage y la escritura de datos en esos buckets, consulta la documentación sobre cómo crear buckets documentación.
• Para obtener más información sobre las cuentas de servicio, consulta Descripción general de la autenticación.