Conéctate a depósitos de Cloud Storage
En esta página, se presenta Cloud Storage como una opción de almacenamiento para datos de aprendizaje automático y resultado de entrenamiento y se describe cómo otorgar a tu Cloud TPU acceso a los objetos de datos en Cloud Storage.
Antes de comenzar
Necesitas una cuenta de servicio de Cloud TPU para acceder a un bucket de Cloud Storage.
Crea una cuenta de servicio de Cloud TPU para tu proyecto.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
El comando muestra una cuenta de servicio de Cloud TPU con el siguiente formato:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Sigue las instrucciones que se encuentran en la guía de inicio rápido de Cloud TPU o en el documento sobre cómo crear y borrar TPU para configurar el proyecto de Google Cloud y crear las VM y los recursos de TPU de Cloud TPU.
Escribe datos en Cloud Storage
Consola
Ve a la página de Cloud Storage en la consola de Google Cloud.
Crea un bucket nuevo y especifica las siguientes opciones:
- Un nombre único de tu elección
- Clase de almacenamiento predeterminada:
Standard
- Ubicación:
us-central1
gsutil
Usa el comando
gsutil mb
para crear un bucket de Cloud Storage:gsutil mb -l region gs://bucket-name/
Donde:
region es la región en la que creaste la Cloud TPU. Por ejemplo:
us-central1
. Cloud TPU está disponible en las siguientes regiones:US
Cloud TPU v2 y TPU v2 interrumpible us-central1
Cloud TPU v3 y v3 interrumpible us-central1
Cloud TPU v4 y TPU v4 interrumpible us-central2
Pod de Cloud TPU v2 us-central1
Pod de Cloud TPU v4 us-central2
Europa
Cloud TPU v2 y TPU v2 interrumpible europe-west4
Cloud TPU v3 y v3 interrumpible europe-west4
Pod de Cloud TPU v2 europe-west4
Pod de Cloud TPU v3 europe-west4
Asia-Pacífico
Cloud TPU v2 y TPU v2 interrumpible asia-east1
bucket-name es el nombre del bucket que deseas crear.
Usa el comando
gsutil cp
para escribir archivos en el bucket de Cloud Storage:gsutil cp -r local-data-dir gs://bucket-name
local-data-dir es una ruta local a tus datos. Por ejemplo:
$HOME/your-data
Otorga a Cloud TPU acceso a Cloud Storage
Necesitas otorgar a Cloud TPU acceso de lectura/escritura a los objetos de Cloud Storage. Para hacerlo, debes otorgar el acceso requerido a la cuenta de servicio de Cloud TPU que usa la Cloud TPU. Sigue estos pasos para encontrar la Cuenta de Servicio de Cloud TPU y otorgar el acceso necesario:
Autoriza la cuenta de servicio de Cloud TPU
Utiliza LCA detalladas para Cloud TPU (recomendado)
Si almacenas datos de entrenamiento en Cloud Storage, la cuenta de servicio de Cloud TPU necesita permiso de lectura y escritura en el bucket.
Consola
Ve a la página del navegador de Cloud Storage para ver tus depósitos.
Selecciona el bucket cuya LCA deseas modificar.
Selecciona la pestaña
Permissions
.Selecciona
Add
para agregar un permiso nuevo y escribe el nombre completo de la cuenta de servicio en el cuadro de ediciónNew Principals
.Si estás leyendo desde este bucket, debes permitir que la cuenta de servicio de TPU lea desde el recurso. Para ello, otorga la función de
Storage Legacy > Storage Legacy Bucket Reader
a la cuenta de servicio.Si estás escribiendo en este bucket, debes permitir que la cuenta de servicio de TPU escriba en el recurso. Para ello, otorga la función de
Storage Legacy > Storage Legacy Bucket Writer
a la cuenta de servicio.
gsutil
Si estás leyendo desde este bucket, otórgale a la cuenta de servicio de TPU permiso de lectura:
gsutil acl ch -u tpu-service-account:READER gs://bucket-name
Si escribes en este bucket, otorga permiso de escritura a la cuenta de servicio de TPU:
gsutil acl ch -u tpu-service-account:WRITER gs://bucket-name
Usa permisos de IAM para Cloud TPU (alternativa)
Si deseas otorgar más permisos en lugar de incluir en la lista blanca el acceso a cada bucket de manera explícita, puedes otorgar a la cuenta de servicio de Cloud TPU la función de Administrador de almacenamiento de la Administración de identidades y acceso (IAM).
Ve a la página IAM de tu proyecto.
Haz clic en el botón +Agregar para agregar principales al proyecto.
Ingresa los nombres de la cuenta de servicio de Cloud TPU en el cuadro de texto Principales.
Haz clic en la lista desplegable Funciones.
Habilita las siguientes funciones:
Proyecto > Visualizador
Almacenamiento > Administrador de almacenamiento
Cloud Storage FUSE
Cloud Storage FUSE te permite activar y acceder a los buckets de Cloud Storage como sistemas de archivos locales. Esto permite que las aplicaciones lean y escriban objetos en tu bucket mediante la semántica estándar del sistema de archivos.
Consulta la documentación de Cloud Storage FUSE para obtener detalles sobre cómo funciona Cloud Storage FUSE y una descripción de cómo las operaciones de Cloud Storage FUSE se asignan a las operaciones de Cloud Storage. Puedes encontrar información adicional sobre cómo usar Cloud Storage FUSE, por ejemplo, cómo instalar la CLI de gcsMerge y activar buckets en GitHub.
¿Qué sigue?
- Para obtener más información sobre la creación de depósitos de Cloud Storage y la escritura de datos en esos depósitos, consulta la documentación de Cloud Storage.
- Para obtener más información sobre las cuentas de servicio, consulta Descripción general de la autenticación.