Predicción por lotes con Gemini

Obtén inferencias asíncronas, rentables y de alto rendimiento para tus necesidades de procesamiento de datos a gran escala con las capacidades de predicción por lotes de Gemini. En esta guía, se explica el valor de la predicción por lotes, cómo funciona, sus limitaciones y las prácticas recomendadas para obtener resultados óptimos.

¿Por qué usar la predicción por lotes?

En muchas situaciones reales, no necesitas una respuesta inmediata de un modelo de lenguaje. En cambio, es posible que tengas un gran conjunto de datos de instrucciones que debas procesar de manera eficiente y económica. Aquí es donde se destaca la predicción por lotes.

Entre los beneficios clave, se incluyen los siguientes:

  • Rentabilidad: El procesamiento por lotes se ofrece con un descuento del 50% en comparación con la inferencia en tiempo real, lo que lo hace ideal para tareas a gran escala y no urgentes.
  • Límites de frecuencia altos: Procesa cientos de miles de solicitudes en un solo lote con un límite de frecuencia más alto en comparación con la API de Gemini en tiempo real.
  • Flujo de trabajo simplificado: En lugar de administrar una canalización compleja de solicitudes individuales en tiempo real, puedes enviar un solo trabajo por lotes y recuperar los resultados una vez que se complete el procesamiento. El servicio controlará la validación del formato, paralelizará las solicitudes para el procesamiento simultáneo y volverá a intentarlo automáticamente para lograr un alto porcentaje de finalización con un tiempo de respuesta de 24 horas.

La predicción por lotes está optimizada para tareas de procesamiento a gran escala, como las siguientes:

  • Generación de contenido: Genera descripciones de productos, publicaciones en redes sociales o cualquier otro texto creativo de forma masiva.
  • Anotación y clasificación de datos: Clasifica opiniones de usuarios, categoriza documentos o realiza análisis de opiniones en un gran corpus de texto.
  • Análisis sin conexión: Resume artículos, extrae información clave de informes o traduce documentos a gran escala.

Modelos de Gemini que admiten predicciones por lotes

Los siguientes modelos de Gemini base y ajustados admiten predicciones por lotes:

Cuotas y límites

Si bien la predicción por lotes es potente, es importante tener en cuenta las siguientes limitaciones.

  • Cuota: No hay límites de cuota predefinidos para tu uso. En cambio, el servicio por lotes proporciona acceso a un grupo grande y compartido de recursos, que se asignan de forma dinámica según la disponibilidad de recursos y la demanda en tiempo real de todos los clientes de ese modelo. Cuando más clientes están activos y nuestra capacidad está saturada, es posible que tus solicitudes por lotes se pongan en cola por capacidad.
  • Tiempo en cola: Cuando nuestro servicio experimenta un tráfico alto, tu trabajo por lotes se pondrá en cola para esperar capacidad. El trabajo estará en la cola hasta por 72 horas antes de que caduque.
  • Límites de solicitudes: Un solo trabajo por lotes puede incluir hasta 200,000 solicitudes. Si usas Cloud Storage como entrada, también hay un límite de tamaño de archivo de 1 GB.
  • Tiempo de procesamiento: Los trabajos por lotes se procesan de forma asíncrona y no están diseñados para aplicaciones en tiempo real. La mayoría de los trabajos se completan en un plazo de 24 horas después de que comienzan a ejecutarse (sin contar el tiempo en la cola). Después de 24 horas, se cancelarán los trabajos incompletos y solo se te cobrarán las solicitudes completadas.
  • Funciones no admitidas: La predicción por lotes no admite el almacenamiento en caché del contexto, RAG ni los extremos globales.

Prácticas recomendadas

Para aprovechar al máximo la predicción por lotes con Gemini, te recomendamos las siguientes prácticas recomendadas:

  • Combina trabajos: Para maximizar el rendimiento, combina trabajos más pequeños en uno grande, dentro de los límites del sistema. Por ejemplo, enviar un trabajo por lotes con 200,000 solicitudes te dará un mejor rendimiento que enviar 1,000 trabajos con 200 solicitudes cada uno.
  • Supervisa el estado del trabajo: Puedes supervisar el progreso del trabajo con la API, el SDK o la IU. Para obtener más información, consulta cómo supervisar el estado del trabajo. Si un trabajo falla, revisa los mensajes de error para diagnosticar y solucionar el problema.
  • Optimiza los costos: Aprovecha los ahorros que ofrece el procesamiento por lotes para las tareas que no requieren una respuesta inmediata.

¿Qué sigue?