Ajuste y síntesis

En esta página, se proporciona una descripción general del ajuste de modelos de texto y de chat, y la síntesis de modelos de texto. Aprenderás sobre los tipos de ajustes disponibles y cómo funciona la síntesis. También aprenderás sobre los beneficios del ajuste y la síntesis, y situaciones en las que es posible que quieras ajustar o sintetizar un modelo de texto.

Tipos de ajustes para modelos de texto

Puedes elegir uno de los siguientes métodos para ajustar un modelo de texto:

  • Ajuste supervisado: Los modelos de generación de texto y chat de texto admiten el ajuste supervisado. El ajuste supervisado de un modelo de texto es una buena opción cuando el resultado de tu modelo no es complejo y es relativamente fácil de definir. Se recomienda el ajuste supervisado para la clasificación, el análisis de opiniones, la extracción de entidades, el resumen del contenido que no es complejo y la escritura de consultas específicas del dominio. Para los modelos de código, la única opción es el ajuste supervisado. Para obtener información sobre cómo ajustar un modelo de texto con ajuste supervisado, consulta Ajusta los modelos de texto con ajuste supervisado.

  • Ajuste de aprendizaje por refuerzo con retroalimentación humana (RLHF): el modelo de base de generación de texto y algunos modelos de transformador de transferencia de texto a texto de Flan (Flan-T5) admiten el ajuste RLHF. El ajuste de RLHF es una buena opción cuando el resultado de tu modelo es complejo. RLHF funciona bien en modelos con objetivos de nivel de secuencia que no se diferencian con facilidad con el ajuste supervisado. Se recomienda el ajuste del RLHF para responder preguntas, resumir contenido complejo y crear contenido, como una reescritura. Para aprender a ajustar un modelo de texto con el ajuste RLHF, consulta Ajusta los modelos de texto con el ajuste RLHF.

Beneficios del ajuste de modelos de texto

Los modelos de texto ajustados se entrenan con más ejemplos de los que pueden caber en un prompt. Debido a esto, después de ajustar un modelo previamente entrenado, puedes proporcionar menos ejemplos en el mensaje que lo que harías con el modelo original previamente entrenado. Si se requieren menos ejemplos, se obtienen los siguientes beneficios:

  • Menor latencia en las solicitudes.
  • Se usan menos tokens.
  • Una menor latencia y menos tokens reducen el costo de la inferencia.

Destilación de modelos

Además del ajuste supervisado y RLHF, Vertex AI admite la síntesis de modelos. La síntesis es el proceso de entrenar un modelo estudiante más pequeño en un modelo profesor más grande para imitar el comportamiento del modelo más grande y, al mismo tiempo, reducir el tamaño.

Existen varios tipos de síntesis de modelos, incluidos los siguientes:

  • Basado en la respuesta: Entrena al modelo de estudiante sobre las probabilidades de respuesta del modelo de profesor.
  • Basado en atributos: Entrena el modelo de estudiante para que imite las capas internas del modelo de profesor.
  • Basado en relaciones: Entrena el modelo de estudiante en las relaciones en los datos de entrada o salida del modelo de profesor.
  • Autosíntesis: Los modelos de profesor y estudiante tienen la misma arquitectura y el modelo se enseña a sí mismo.

Sintetiza paso a paso con Vertex AI

Vertex AI admite una forma de síntesis basada en respuestas llamada síntesis paso a paso (DSS). DSS es un método para entrenar modelos más pequeños y específicos de una tarea a través de instrucciones de cadena de pensamiento (COT).

Para usar DSS, necesitas un conjunto de datos de entrenamiento pequeño que conste de entradas y etiquetas. Si las etiquetas no están disponibles, el modelo de profesor las genera. El proceso de DSS extrae los motivos y, luego, se usan para entrenar el modelo pequeño con una tarea de generación de lógica y una tarea de predicción típica. Esto permite que el modelo pequeño compile un razonamiento intermedio antes de que alcance su predicción final.

En el siguiente diagrama, se muestra cómo la síntesis paso a paso usa instrucciones de COT para extraer lógicas de un modelo de lenguaje grande (LLM). Las lógicas se usan para entrenar modelos más pequeños y específicos de tareas.

Diagrama del proceso de síntesis paso a paso (DSS).
Fuente: Google Research.

Beneficios de la síntesis paso a paso

Los beneficios de sintetizar paso a paso incluyen los siguientes:

  • Precisión mejorada: La síntesis paso a paso ha demostrado un rendimiento superior al estándar en las instrucciones con ejemplos limitados de los LLM.
  • Un LLM sintetizado puede obtener resultados en las tareas finales específicas de los usuarios, de manera similar a los resultados de LLM mucho más grandes.
  • Supera las restricciones de datos. Puedes usar DSS con un conjunto de datos de instrucciones sin etiquetar con solo unos miles de ejemplos.
  • Huellas de hosting más pequeñas.
  • Menor latencia de inferencia.

¿Qué sigue?