Redundancia zonal de GPU para servicios

Preview — GPU zonal redundancy configuration Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

En esta página, se describe cómo configurar las opciones de redundancia zonal para la GPU de tu servicio de Cloud Run. De forma predeterminada, las GPUs tienen habilitada la redundancia zonal para que los datos y el tráfico se balanceen automáticamente entre zonas de una región. En caso de una falla dentro de una zona en particular, el tráfico se enruta automáticamente a otras zonas.

Si, en cambio, deseas usar la confiabilidad del mejor esfuerzo con un costo por segundo de GPU más bajo, desactiva la redundancia zonal para la GPU.

Regiones admitidas

• us-central1 (Iowa) Bajo nivel de CO₂
• asia-southeast1 (Singapur)
• europe-west1 (Bélgica) Bajo nivel de CO₂
• europe-west4 (Países Bajos) Bajo nivel de CO₂
• asia-south1 (Bombay)
  • Nota: Esta región solo está disponible por invitación. Comunícate con tu equipo de Cuentas de Google si te interesa esta región

Impacto en los precios

Consulta los precios de Cloud Run para obtener detalles sobre los precios de las GPU y el costo de la redundancia zonal.

Cuota de solicitudes

De forma predeterminada, no hay cuota para la redundancia zonal ni la redundancia zonal. Deberás solicitar una cuota. Usa los vínculos que se proporcionan en los siguientes botones para solicitar la cuota que necesitas.

Cuota necesaria	Vínculo de cuota
GPU con redundancia zonal activada	Solicita una cuota de GPU con redundancia zonal
GPU con redundancia zonal desactivada	Cómo solicitar una cuota de GPU sin redundancia zonal
Página de cuotas de GPU (redundancia zonal y no zonal)	Solicita una cuota de GPU

Antes de comenzar

En la siguiente lista, se describen los requisitos y las limitaciones que se aplican cuando se usan GPUs en Cloud Run:

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Run API.

   Enable the API

Roles obligatorios

Para obtener los permisos que necesitas para configurar y, luego, implementar los servicios de Cloud Run, pídele a tu administrador que te otorgue los siguientes roles de IAM:

• Desarrollador de Cloud Run (roles/run.developer) en el servicio de Cloud Run
• Usuario de la cuenta de servicio (roles/iam.serviceAccountUser) en la identidad del servicio

Para obtener una lista de los roles y los permisos de IAM asociados con Cloud Run, consulta los roles de IAM de Cloud Run y los permisos de IAM de Cloud Run. Si tu servicio de Cloud Run interactúa con las APIs deGoogle Cloud , como las bibliotecas cliente de Cloud, consulta la guía de configuración de identidades del servicio. Para obtener más información sobre cómo otorgar roles, consulta permisos de implementación y administra el acceso.

Configura la redundancia zonal para un servicio de Cloud Run que tenga GPU

Cualquier cambio en la configuración conlleva la creación de una revisión nueva. Las revisiones posteriores también adoptarán esta configuración de manera automática, a menos que realices actualizaciones explícitas para cambiarla.

Puedes usar la consola de Google Cloud, Google Cloud CLI o YAML para configurar la GPU.

Console

1. En la Google Cloud consola, ve a Cloud Run:

   Ir a Cloud Run

2. Haz clic en Implementar contenedor y selecciona Servicio para configurar un servicio nuevo. Si quieres configurar un servicio existente, haz clic en el servicio y, luego, en implementar y editar la nueva revisión.

3. Si configuras un servicio nuevo, completa la página de configuración del servicio inicial como desees y haz clic en Contenedores, volúmenes, Herramientas de redes y seguridad para expandir la página de configuración del servicio.

4. Haz clic en la pestaña Contenedor.

   

   • Selecciona la casilla de verificación de la GPU para mostrar las opciones de redundancia de GPU.
     • Selecciona Sin redundancia zonal para desactivar la redundancia zonal.
     • Selecciona Zonal redundancy para activar la redundancia zonal.

5. Haz clic en Crear o Implementar.

gcloud

De forma predeterminada, la redundancia zonal de la GPU está activada. Para desactivar la configuración de redundancia zonal de la GPU de un servicio o volver a activarla si la desactivaste anteriormente, usa el comando gcloud beta run services update:

  gcloud beta run services update SERVICE \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --no-cpu-throttling \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --max-instances MAX_INSTANCE
    --GPU_ZONAL_REDUNDANCY
    

Reemplaza lo siguiente:

• SERVICE por el nombre del servicio de Cloud Run
• IMAGE_URL por una referencia a la imagen del contenedor, como us-docker.pkg.dev/cloudrun/container/hello:latest Si usas Artifact Registry, el repositorio REPO_NAME debe estar creado. La URL tiene el formato LOCATION-docker.pkg.dev/PROJECT_ID/REPO_NAME/PATH:TAG.
• CPU por la cantidad de CPU. Debes especificar al menos 4 CPU.
• MEMORY por la cantidad de memoria. Debes especificar al menos 16Gi (16 GiB).
• GPU_NUMBER con el valor 1 (uno). Si no se especifica, pero hay un GPU_TYPE, el valor predeterminado es 1.
• GPU_TYPE por el tipo de GPU. Si no se especifica, pero hay un GPU_NUMBER, el valor predeterminado es nvidia-l4 (nvidia L4 con "L" minúscula, no el valor numérico catorce).
• MAX_INSTANCE por la cantidad máxima de instancias. Esta cantidad no puede exceder la cuota de GPU asignada a tu proyecto.
• GPU_ZONAL_REDUNDANCY con no-gpu-zonal-redundancy para desactivar la redundancia zonal o gpu-zonal-redundancy para activarla.

YAML

1. Si creas un servicio nuevo, omite este paso. Si actualizas un servicio existente, descarga su configuración de YAML:

   gcloud run services describe SERVICE --format export > service.yaml

2. Actualiza la anotación run.googleapis.com/gpu-zonal-redundancy-disabled:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
     name: SERVICE
     annotations:
       run.googleapis.com/launch-stage: BETA
   spec:
     template:
       metadata:
         annotations:
           run.googleapis.com/gpu-zonal-redundancy-disabled: GPU_ZONAL_REDUNDANCY
           

   Reemplaza lo siguiente:

   • SERVICE por el nombre del servicio de Cloud Run
   • GPU_ZONAL_REDUNDANCY con false para activar la redundancia zonal de la GPU o true para desactivarla.

3. Crea o actualiza el servicio con el siguiente comando:

   gcloud run services replace service.yaml