Cuota de rendimiento

Vertex AI ofrece dos formas de gestionar el rendimiento de tus modelos de IA generativa, lo que te permite equilibrar el coste, la flexibilidad y el rendimiento. Puedes usar un modelo flexible de pago por uso o reservar una cantidad de capacidad de procesamiento dedicada por un precio fijo.

Pago por uso

En el modelo predeterminado de pago por uso, Vertex AI usa la cuota compartida dinámica, que no tiene un límite de uso predefinido. En su lugar, obtienes acceso a un gran conjunto de recursos compartidos que se asignan dinámicamente en función de la disponibilidad y la demanda en tiempo real.

Este modelo permite que tus cargas de trabajo usen más recursos cuando estén disponibles. Si recibes un error resource exhausted (429), significa que el grupo compartido está experimentando temporalmente una gran demanda de muchos usuarios a la vez. Deberías implementar mecanismos de reintento en tu aplicación, ya que la disponibilidad puede cambiar rápidamente.

Capacidad reservada

En el caso de las aplicaciones de producción críticas que requieren un rendimiento constante y costes predecibles, puedes usar Rendimiento aprovisionado. El rendimiento aprovisionado es una suscripción de coste fijo que reserva una cantidad específica de rendimiento para tus modelos en una ubicación elegida.

Siguientes pasos