Introducción a Vertex AI

Vertex AI es una plataforma de aprendizaje automático (AA) que te permite entrenar y, también, implementar modelos de AA y aplicaciones de IA, y personalizar modelos de lenguaje grande (LLM) para usarlos en tus aplicaciones con tecnología de IA. Vertex AI combina la ingeniería de datos, la ciencia de datos y los flujos de trabajo de ingeniería de AA, lo que permite a tus equipos colaborar con un conjunto de herramientas común y escalar tus aplicaciones con los beneficios de Google Cloud.

Vertex AI proporciona varias opciones para el entrenamiento y la implementación del modelo:

  • AutoML te permite entrenar datos tabulares, de imagen, de texto o de video sin escribir código ni preparar divisiones de datos.

  • El entrenamiento personalizado te brinda control total sobre el proceso de entrenamiento, incluido el uso de tu marco de trabajo de AA preferido, la escritura de tu propio código de entrenamiento y la elección de las opciones de ajuste de hiperparámetros.

  • Model Garden te permite descubrir, probar, personalizar e implementar Vertex AI, y seleccionar modelos y elementos de código abierto (OSS).

  • IA generativa te brinda acceso a los grandes modelos de IA generativos de Google para varias modalidades (texto, código, imágenes y voz). Puedes ajustar los LLM de Google para satisfacer tus necesidades y, luego, implementarlos en tus aplicaciones con tecnología de IA.

Después de implementar tus modelos, usa las herramientas de MLOps de extremo a extremo de Vertex AI para automatizar y escalar los proyectos durante el ciclo de vida del AA. Estas herramientas de MLOps se ejecutan en una infraestructura completamente administrada que puedes personalizar según tus necesidades de rendimiento y presupuesto.

Puedes usar el SDK de Vertex AI para Python a fin de ejecutar todo el flujo de trabajo de aprendizaje automático en Vertex AI Workbench, un entorno de desarrollo basado en notebooks de Jupyter. Puedes colaborar con un equipo para desarrollar tu modelo en Colab Enterprise, una versión de Colaboratory que está integrada en Vertex AI. Otras interfaces disponibles incluyen la consola de Google Cloud, la herramienta de línea de comandos de gcloud, las bibliotecas cliente y Terraform (compatibilidad limitada).

Vertex AI y el flujo de trabajo del aprendizaje automático (AA)

En esta sección, se proporciona una descripción general del flujo de trabajo de aprendizaje automático y cómo puedes usar Vertex AI para compilar e implementar tus modelos.

diagrama del flujo de trabajo del AA

  1. Preparación de datos: después de extraer y limpiar tu conjunto de datos, realiza un análisis de datos exploratorio (EDA) para identificar el esquema de datos y las características que espera el modelo de AA. Aplicar transformaciones de datos e ingeniería de atributos al modelo, y dividir los datos en conjuntos de entrenamiento, validación y prueba.

    • Explora y visualiza datos con notebooks de Vertex AI Workbench. Vertex AI Workbench se integra en Cloud Storage y BigQuery para ayudarte a acceder a los datos y procesarlos más rápido.

    • Para conjuntos de datos grandes, usa Spark sin servidores de Dataproc de un notebook de Vertex AI Workbench para ejecutar cargas de trabajo de Spark sin tener que administrar tus propios clústeres de Dataproc.

  2. Entrenamiento de modelos: elige un método de entrenamiento para entrenar un modelo y ajustarlo para su rendimiento.

    • Para entrenar un modelo sin escribir código, consulta la Descripción general de AutoML. AutoML admite datos tabulares, de imagen, de texto y de video.

    • Para escribir tu propio código de entrenamiento y entrenar modelos personalizados con tu framework de AA preferido, consulta la Descripción general del entrenamiento personalizado.

    • Optimiza los hiperparámetros para modelos con entrenamiento personalizado a través de trabajos de ajuste personalizados.

    • Vertex AI Vizier ajusta los hiperparámetros por ti en modelos complejos de aprendizaje automático (AA).

    • Usa Vertex AI Experiments para entrenar tu modelo con diferentes técnicas de AA y comparar los resultados.

    • Registra tus modelos entrenados en Vertex AI Model Registry para el control de versiones y la transferencia a la producción. Vertex AI Model Registry se integra en funciones de implementación y validación, como la evaluación de modelos y los extremos.

  3. Iteración y evaluación de modelos: evalúa tu modelo entrenado, realiza ajustes en los datos según las métricas de evaluación e itera en tu modelo.

    • Usa las métricas de evaluación de modelos, como la precisión y recuperación, para evaluar y comparar el rendimiento de tus modelos. Crea evaluaciones a través de Vertex AI Model Registry o incluye evaluaciones en tu flujo de trabajo de Vertex AI Pipelines.
  4. Entrega de modelos: Implementa tu modelo en producción y obtén predicciones.

    • Implementa tu modelo personalizado con contenedores compilados previamente o personalizados para obtener predicciones en línea en tiempo real (a veces llamadas predicciones HTTP).

    • Obtén predicciones por lotes asíncronas, que no requieren implementación en extremos.

    • El entorno de ejecución optimizado de TensorFlow te permite entregar modelos de TensorFlow a un costo menor y con una latencia menor que los contenedores precompilados de TensorFlow Serving basados en código abierto.

    • Para casos de entrega en línea con modelos tabulares, usa Vertex AI Feature Store para entregar atributos desde un repositorio central y supervisar el estado de los atributos.

    • Vertex Explainable AI te ayuda a comprender cómo cada atributo contribuye a la predicción de modelos (atribución de atributos) y a encontrar datos mal etiquetados del conjunto de datos de entrenamiento (explicación basada en ejemplo).

    • Implementa y obtén predicciones en línea para modelos entrenados con BigQuery ML.

  5. Supervisión de modelos: supervisa el rendimiento del modelo implementado. Usa los datos de predicción entrantes para volver a entrenar el modelo con el fin de mejorar el rendimiento.

    • Vertex AI Model Monitoring supervisa los modelos para detectar sesgos de entrega y entrenamiento, y te envía alertas cuando los datos de predicción entrantes se inclinan demasiado lejos del modelo de referencia de entrenamiento.

¿Qué sigue?