• Procesamiento asíncrono: las predicciones se generan según una programación predefinida (por ejemplo, cada hora o cada día) o bajo demanda, no en tiempo real a medida que llegan los datos nuevos.
• Alto rendimiento: el sistema está optimizado para procesar una gran cantidad de puntos de datos en una sola ejecución, lo que lo hace muy eficiente.
• Rentabilidad: al ejecutarse según una programación, puedes usar los recursos de computación cuando estén más disponibles o sean menos caros, lo que reduce significativamente los costes operativos.
• Tolerancia a la latencia: la principal suposición es que la aplicación que consume las predicciones no necesita una respuesta inmediata; se acepta un retraso de minutos u horas entre la recogida de datos y la generación de predicciones.

Elegir entre la inferencia por lotes y la inferencia online es una decisión arquitectónica fundamental a la hora de diseñar un sistema de aprendizaje automático. Cada enfoque tiene un propósito diferente y está optimizado para distintas características de rendimiento.

Un flujo de procesamiento de inferencia por lotes es un flujo de trabajo estructurado y automatizado que transforma los datos sin procesar en predicciones útiles. El proceso se puede dividir en estos pasos clave, que suelen estar coordinados por un gestor de flujos de trabajo o un sistema de programación.

El proceso comienza acumulando datos a lo largo del tiempo. Estos datos de entrada, que pueden incluir registros de actividad de los usuarios, registros de transacciones o lecturas de sensores, se recogen de diversas fuentes y se almacenan en una ubicación centralizada. A menudo, se trata de un data lake creado en un servicio como Google Cloud Storage o un almacén de datos como BigQuery.

El proceso de inferencia se inicia mediante un activador. Este activador puede ser:

• Basado en el tiempo: un programador (como una tarea cron) inicia la tarea a intervalos regulares, por ejemplo, cada noche a la 1 de la madrugada.
• Basado en eventos: la tarea se inicia en respuesta a un evento específico, como la llegada de un nuevo archivo de datos a un segmento de Cloud Storage.

Una vez activada, la tarea carga todo el lote de datos de entrada sin procesar. A continuación, realiza los pasos de preprocesamiento e ingeniería de funciones necesarios para transformar los datos al formato exacto que espera el modelo de aprendizaje automático. Esto puede incluir tareas como limpiar los valores que faltan, escalar las características numéricas y codificar las variables categóricas.

El sistema recupera el modelo de aprendizaje automático entrenado de un repositorio central, como el registro de modelos de Vertex AI. El lote de datos preprocesado se introduce en el modelo, que ejecuta la inferencia en cada observación del conjunto para generar una predicción correspondiente.

La salida del modelo, es decir, el conjunto de predicciones, se escribe en un sistema de almacenamiento. Este destino se elige en función de cómo se vayan a usar las predicciones. Entre los destinos habituales se incluyen cargar los resultados en una tabla de BigQuery para analizarlos, en una base de datos de Cloud SQL para que una aplicación pueda consultarlos rápidamente o guardarlos como archivos en Cloud Storage.

Ahora que las predicciones están almacenadas y listas, los sistemas posteriores pueden usarlas. Una herramienta de inteligencia empresarial podría consultar los resultados para crear un panel de control del comportamiento previsto de los clientes. El backend de una aplicación web podría cargar las recomendaciones de productos precalculadas para mostrárselas a los usuarios, o una plataforma de automatización de marketing podría extraer una lista de clientes que se prevé que abandonen el servicio para orientarles una nueva campaña.

La inferencia por lotes es el método preferido para muchos procesos empresariales básicos en los que las predicciones mejoran un producto o servicio sin necesidad de generarse en tiempo real. Este enfoque puede ser muy eficaz en diversos sectores para resolver problemas de datos a gran escala.

Vertex AI es el centro de aprendizaje automático gestionado de Google Cloud, que ofrece un enfoque optimizado y sin servidor para la inferencia por lotes. El proceso se centra en configurar una tarea y dejar que la plataforma se encargue de la infraestructura subyacente.

Antes de empezar, necesitas tres cosas clave:

• Un modelo entrenado que se debe subir al registro de modelos de Vertex AI.
• Los datos de entrada, con el formato que requiera tu modelo. Estos datos deben estar ubicados en Google Cloud Storage (por ejemplo, como archivos JSON o CSV) o en una tabla de BigQuery.
• Una ubicación de destino para la salida, que también será un segmento de Cloud Storage o una tabla de BigQuery.

Puedes iniciar la tarea a través de la consola de Google Cloud, la herramienta de línea de comandos gcloud o de forma programática mediante el SDK de Vertex AI. Cuando crees la tarea, deberás proporcionar la siguiente configuración:

• El modelo específico del registro de modelos que quieres usar
• La ruta de tus datos de entrada y la ubicación de tus resultados de salida
• El tipo de máquina y el acelerador (por ejemplo, GPU) que quieres usar en la tarea, lo que te permite equilibrar el coste y el rendimiento.

Una vez que envías la tarea, Vertex AI se encarga del resto. Aprovisiona automáticamente los recursos de computación que has especificado, ejecuta tus datos de entrada en el modelo, genera las predicciones y las guarda en la ubicación de salida que has designado. Cuando el trabajo se completa, Vertex AI reduce automáticamente todos los recursos a cero, por lo que solo pagas por el tiempo de computación que utilizas. Puedes monitorizar el progreso de la tarea y ver los registros directamente en la consola de Google Cloud.

Cuando el estado de la tarea sea "Completada", tus predicciones estarán listas. Las aplicaciones, las herramientas de analíticas o los paneles de inteligencia empresarial que uses pueden acceder a los archivos de salida en Cloud Storage o a la nueva tabla de BigQuery.