• Procesamiento asíncrono: Las predicciones se generan según un programa predefinido (por ejemplo, cada hora o cada día) o a pedido, no en tiempo real a medida que llegan los datos nuevos.
• Alta capacidad de procesamiento: El sistema está optimizado para procesar una gran cantidad de datos en una sola ejecución, lo que lo hace muy eficiente.
• Rentabilidad: Si ejecutas las cargas de trabajo según una programación, puedes usar los recursos de procesamiento cuando están más disponibles o son menos costosos, lo que reduce significativamente los costos operativos.
• Tolerancia a la latencia: La suposición principal es que la aplicación que consume las predicciones no necesita una respuesta inmediata; se acepta un retraso de minutos o horas entre la recopilación de datos y la generación de predicciones.

Elegir entre la inferencia por lotes y la inferencia en línea es una decisión arquitectónica fundamental en el diseño de un sistema de aprendizaje automático. Cada enfoque tiene un propósito diferente y está optimizado para distintas características de rendimiento.

Una canalización de inferencia por lotes es un flujo de trabajo estructurado y automatizado que mueve los datos desde su estado sin procesar hasta predicciones prácticas. El proceso se puede dividir en estos pasos clave, que suelen estar organizados por un administrador de flujo de trabajo o un sistema de programación.

El proceso comienza con la acumulación de datos con el paso del tiempo. Estos datos de entrada, que pueden incluir registros de actividad del usuario, registros de transacciones o lecturas de sensores, se recopilan de varias fuentes y se almacenan en una ubicación centralizada. A menudo, se trata de un data lake creado en un servicio como Google Cloud Storage o un almacén de datos como BigQuery.

La canalización de inferencia se inicia con un activador. Este activador puede ser de estas maneras:

• Basado en tiempo: Un programador (como un trabajo cron) inicia el trabajo a un intervalo regular, como todas las noches a la 1 a.m.
• Basado en eventos: El trabajo comienza en respuesta a un evento específico, como la llegada de un nuevo archivo de datos en un bucket de Cloud Storage.

Una vez que se activa, el trabajo carga todo el lote de datos de entrada sin procesar. Luego, realiza los pasos necesarios de procesamiento previo y de ingeniería de atributos para transformar los datos en el formato preciso que espera el modelo de aprendizaje automático. Esto puede incluir tareas como limpiar valores faltantes, escalar atributos numéricos y codificar variables categóricas.

El sistema recupera el modelo de aprendizaje automático entrenado de un repositorio central, como Vertex AI Model Registry. Luego, el lote de datos preprocesados se envía al modelo, que ejecuta la inferencia en cada observación del conjunto para generar una predicción correspondiente.

El resultado del modelo, la colección de predicciones, se escribe en un sistema de almacenamiento. Este destino se elige en función de cómo se usarán las predicciones. Los destinos comunes incluyen cargar los resultados en una tabla de BigQuery para su análisis, una base de datos de Cloud SQL para búsquedas rápidas por parte de una aplicación o guardarlos como archivos en Cloud Storage.

Ahora que las predicciones están almacenadas y listas, los sistemas downstream pueden usarlas. Una herramienta de inteligencia empresarial podría consultar los resultados para crear un panel del comportamiento previsto de los clientes. El backend de una aplicación web podría cargar las recomendaciones de productos previamente calculadas para mostrárselas a los usuarios, o una plataforma de automatización de marketing podría extraer una lista de clientes que se prevé que desertarán para segmentarlos con una nueva campaña.

La inferencia por lotes es el método preferido para muchos procesos empresariales centrales en los que las predicciones mejoran un producto o servicio sin necesidad de generarse en tiempo real. Este enfoque puede ser muy eficaz en diversas industrias para resolver problemas de datos a gran escala.

Vertex AI es la plataforma de aprendizaje automático administrada de Google Cloud y proporciona un enfoque optimizado y sin servidores para la inferencia por lotes. El proceso se enfoca en configurar un trabajo y dejar que la plataforma se encargue de la infraestructura subyacente.

Antes de comenzar, necesitas tres elementos clave:

• Un modelo entrenado que se debe subir a Vertex AI Model Registry
• Tus datos de entrada, con el formato que requiere tu modelo; estos datos deben estar ubicados en Google Cloud Storage (por ejemplo, como archivos JSON o CSV) o en una tabla de BigQuery
• Una ubicación de destino para el resultado, que también será un bucket de Cloud Storage o una tabla de BigQuery

Puedes iniciar el trabajo a través de la consola de Google Cloud, la herramienta de línea de comandos de gcloud o de forma programática con el SDK de Vertex AI. Cuando crees el trabajo, proporcionarás la siguiente configuración:

• El modelo específico del Model Registry que quieres usar
• La ruta de acceso a tus datos de entrada y la ubicación de tus resultados de salida
• El tipo de máquina y el acelerador (por ejemplo, GPU) que quieres usar para el trabajo; esto te permite equilibrar el costo y el rendimiento

Una vez que envías el trabajo, Vertex AI se hace cargo. Aprovisiona automáticamente los recursos de procesamiento que especificaste, ejecuta tus datos de entrada a través del modelo, genera las predicciones y las guarda en la ubicación de salida designada. Una vez que se completa el trabajo, Vertex AI reduce automáticamente todos los recursos a cero, por lo que solo pagas por el tiempo de procesamiento que usas. Puedes supervisar el progreso del trabajo y ver los registros directamente en la consola de Google Cloud.

Una vez que el estado del trabajo se muestre como "Finalizado correctamente", tus predicciones estarán listas. Ahora, tus aplicaciones downstream, herramientas de análisis o paneles de IE pueden acceder a los archivos de salida en Cloud Storage o a la nueva tabla en BigQuery.