¿Qué es la inferencia de IA?

Si bien el ciclo de vida completo de la IA abarca todo, desde la recopilación de datos hasta la supervisión a largo plazo, el recorrido central de un modelo desde la creación hasta la ejecución tiene tres etapas clave. Los dos primeros se refieren al aprendizaje, mientras que el último se refiere a poner en práctica ese aprendizaje.

• El entrenamiento de la IA es la fase de aprendizaje fundamental. Es un proceso de procesamiento intensivo en el que un modelo analiza un conjunto de datos masivo para aprender patrones y relaciones. El objetivo es crear un modelo preciso y con conocimientos. Esto requiere aceleradores de hardware potentes (como GPU y TPU) y puede tardar desde horas hasta semanas.
• El ajuste de la IA es un atajo para el entrenamiento. Toma un modelo entrenado previamente potente y lo adapta a una tarea más específica con un conjunto de datos más pequeño y especializado. Esto ahorra una cantidad significativa de tiempo y recursos en comparación con el entrenamiento de un modelo desde cero.
• La inferencia de IA es la fase de ejecución. Usa el modelo entrenado y ajustado para hacer predicciones rápidas sobre datos nuevos y “no vistos”. Cada predicción individual es mucho menos exigente en términos de procesamiento que el entrenamiento, pero entregar millones de predicciones en tiempo real requiere una infraestructura altamente optimizada y escalable.
• La entrega de IA es el proceso de implementar y administrar el modelo para la inferencia. Esto suele implicar empaquetar el modelo, configurar un extremo de API y administrar la infraestructura para manejar las solicitudes.

En esta tabla, se resumen las diferencias clave:

En esencia, la inferencia de IA implica tres pasos que convierten los datos nuevos en un resultado útil. 

Veamos un ejemplo sencillo: un modelo de IA creado para identificar objetos en fotos.

1. Preparación de los datos de entrada: Primero, se proporcionan datos nuevos, por ejemplo, una foto que acabas de enviar. Esta foto se prepara de inmediato para el modelo, lo que podría significar simplemente cambiar su tamaño a las dimensiones exactas con las que se entrenó.
2. Ejecución del modelo: Luego, el modelo de IA analiza la foto preparada. Busca patrones (como colores, formas y texturas) que coincidan con lo que aprendió durante su entrenamiento. Este análisis rápido se denomina "pase hacia adelante", un paso de solo lectura en el que el modelo aplica su conocimiento sin aprender nada nuevo.
3. Generación de resultados: El modelo produce un resultado práctico. Para el análisis de fotos, esto podría ser una puntuación de probabilidad (como un 95% de probabilidad de que la imagen contenga un "perro"). Luego, este resultado se envía a la aplicación y se muestra al usuario.

Si bien una sola inferencia es rápida, atender a millones de usuarios en tiempo real aumenta la latencia y el costo, y requiere hardware optimizado. Las unidades de procesamiento gráfico (GPU) especializadas en IA y las unidades de procesamiento tensorial de Google están diseñadas para manejar estas tareas de manera eficiente junto con la organización con Google Kubernetes Engine, lo que ayuda a aumentar la capacidad de procesamiento y reducir la latencia.

Este es el enfoque más común, en el que la inferencia se ejecuta en potentes servidores remotos en un centro de datos. La nube ofrece una inmensa escalabilidad y recursos computacionales, lo que la hace ideal para manejar conjuntos de datos masivos y modelos complejos. En la nube, generalmente hay dos modos principales de inferencia:

• Inferencia en tiempo real (en línea): Procesa solicitudes individuales de forma instantánea a medida que llegan, a menudo en milisegundos. Esto es fundamental para las aplicaciones interactivas que exigen comentarios inmediatos.
• Inferencia por lotes (sin conexión): Maneja grandes volúmenes de datos a la vez, por lo general, cuando no se requieren respuestas inmediatas. Es un método muy rentable para análisis periódicos o tareas programadas.

Este enfoque realiza la inferencia directamente en el dispositivo en el que se generan los datos, que podría ser un smartphone o un sensor industrial. Al evitar un viaje de ida y vuelta a la nube, la inferencia perimetral ofrece ventajas únicas:

• Latencia reducida: Las respuestas son casi instantáneas, lo que es fundamental para aplicaciones como vehículos autónomos o verificaciones de fabricación en tiempo real.
• Privacidad mejorada: Los datos sensibles (como escaneos médicos, fotos personales y feeds de video) se pueden procesar en el dispositivo sin enviarlos a la nube.
• Menores costos de ancho de banda: El procesamiento de datos local reduce significativamente la cantidad de datos que deben subirse y descargarse.
• Funcionalidad sin conexión: La aplicación puede seguir funcionando incluso sin conexión a Internet, lo que garantiza un funcionamiento continuo en entornos remotos o desconectados.

Para ayudarte a elegir el mejor enfoque para tus necesidades específicas, aquí tienes una comparación rápida de las características clave y los casos de uso de cada tipo de inferencia de IA:

La inferencia de IA presenta un conjunto distinto de desafíos técnicos, como administrar la latencia, controlar los costos y garantizar la escalabilidad. Google Cloud proporciona una ruta flexible para la inferencia, lo que te permite elegir las herramientas adecuadas en función de la complejidad de tu modelo, las necesidades de rendimiento y la capacidad operativa. Puedes comenzar con soluciones completamente administradas y adoptar progresivamente una infraestructura más personalizada a medida que evolucionan tus requisitos.

Este enfoque es ideal para desarrolladores de cualquier nivel de habilidad, incluidos aquellos que son nuevos en la IA y que desean integrar rápidamente potentes capacidades de IA. Requiere hacer llamadas a la API simples sin necesidad de administrar modelos o infraestructura.

Esta opción es para desarrolladores que ya tienen un modelo personalizado creado. Puedes implementarlo en el servicio administrado de Google Cloud, lo que significa que no tienes que encargarte de la compleja configuración del servidor o la organización. Puedes enfocarte en tu modelo, no en la infraestructura.

Les brinda a los desarrolladores y a MLOps control y flexibilidad detallados para implementar, administrar y escalar servicios de inferencia personalizados alojados en contenedores, a menudo con hardware especializado, en entornos de nube o híbridos.

Si trabajas con SQL, ahora puedes obtener predicciones de modelos de IA justo donde ya se encuentran tus datos. Esto elimina la necesidad de mover datos a una plataforma separada, lo que simplifica tu flujo de trabajo.