Cuota de capacidad de procesamiento

Vertex AI ofrece dos formas de administrar la capacidad de procesamiento de tus modelos de IA generativa, lo que te permite equilibrar el costo, la flexibilidad y el rendimiento. Puedes usar un modelo flexible de pago por uso o reservar una cantidad de capacidad de procesamiento dedicada por un precio fijo.

Pago por uso

Para el modelo predeterminado de pago por uso, Vertex AI usa la cuota compartida dinámica, que no tiene un límite de uso predefinido. En cambio, obtienes acceso a un gran grupo compartido de recursos que se asignan de forma dinámica según la disponibilidad y la demanda en tiempo real.

Este modelo permite que tus cargas de trabajo usen más recursos cuando estén disponibles. Si recibes un error resource exhausted (429), significa que el grupo compartido experimenta temporalmente una gran demanda de muchos usuarios a la vez. Debes implementar mecanismos de reintento en tu aplicación, ya que la disponibilidad puede cambiar rápidamente.

Capacidad reservada

Para las aplicaciones de producción críticas que requieren un rendimiento coherente y costos predecibles, puedes usar la capacidad de procesamiento aprovisionada. La capacidad de procesamiento aprovisionada es una suscripción de costo fijo que reserva una cantidad específica de capacidad de procesamiento para tus modelos en una ubicación elegida.

¿Qué sigue?