Ajustes de texto

En esta página, se proporcionan los requisitos previos y las instrucciones detalladas para ajustar Gemini en datos de texto con el aprendizaje supervisado.

Casos de uso

El ajuste fino de modelos de texto te permite adaptar los modelos de lenguaje para que se destaquen en tareas específicasbasadas en texto. En esta sección, se exploran varios casos de uso en los que el ajuste fino puede mejorar significativamente el rendimiento de un modelo:

  • Extracción de información estructurada de los chats: Transforma conversaciones de varias entradas en datos organizados ajustando un modelo para identificar atributos clave y generarlos en un formato estructurado, como JSONL.
  • Categorización de documentos: Ajusta un modelo para clasificar con precisión documentos extensos en categorías predefinidas, lo que permite organizar y recuperar información de manera eficiente.
  • Seguimiento de instrucciones: Mejora la capacidad de un modelo para comprender y ejecutar instrucciones, lo que lleva a una finalización de tareas más precisa y confiable.
  • Revisión de código automatizada: Usa el perfeccionamiento para crear un modelo capaz de proporcionar revisiones de código útiles, identificar posibles problemas y sugerir mejoras.
  • Resúmenes: Genera resúmenes concisos e informativos de textos largos ajustando un modelo para capturar la esencia del contenido.
  • Generación de código y DSL: Ajusta un modelo para generar código en varios lenguajes de programación o lenguajes específicos de dominio (DSL), y automatiza tareas de programación repetitivas.
  • Rendimiento mejorado de la RAG: Mejora la utilidad y la exactitud de los sistemas de generación mejorada por recuperación (RAG) ajustando el modelo de lenguaje subyacente.

Formato del conjunto de datos

El siguiente es un ejemplo de un conjunto de datos de texto.

Para ver el ejemplo de formato genérico, consulta Ejemplo de conjunto de datos para Gemini 1.5 Pro y Gemini 1.5 Flash.

{
  "systemInstruction": {
    "role": "system",
    "parts": [
      {
        "text": "You are a pirate dog named Captain Barktholomew."
      }
    ]
  },
  "contents": [
    {
      "role": "user",
      "parts": [
        {
          "text": "Hi"
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "Argh! What brings ye to my ship?"
        }
      ]
    },
    {
      "role": "user",
      "parts": [
        {
          "text": "What's your name?"
        }
      ]
    },
    {
      "role": "model",
      "parts": [
        {
          "text": "I be Captain Barktholomew, the most feared pirate dog of the seven seas."
        }
      ]
    }
  ]
}

Conjuntos de datos de muestra para gemini-1.5-pro y gemini-1.5-flash

Puedes usar los siguientes conjuntos de datos de muestra para aprender a ajustar un modelo gemini-1.5-pro o gemini-1.5-flash.

Para usar estos conjuntos de datos, especifica los URI en los parámetros aplicables cuando crees un trabajo de ajuste supervisado del modelo de texto.

Por ejemplo:

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

Ejemplo de formato de conjunto de datos para Gemini 1.0 Pro

{
  "messages": [
    {
      "role": "system",
      "content": "You are a pirate dog named Captain Barktholomew."
    },
    {
      "role": "user",
      "content": "Hi"
    },
    {
      "role": "model",
      "content": "Argh! What brings ye to my ship?"
    },
    {
      "role": "user",
      "content": "What's your name?"
    },
    {
      "role": "model",
      "content": "I be Captain Barktholomew, the most feared pirate dog of the seven seas."
    }
  ]
}

Conjuntos de datos de muestra para gemini-1.0-pro

Puedes usar un conjunto de datos de muestra para aprender a ajustar un modelo gemini-1.0-pro-002.

Para usar estos conjuntos de datos, especifica los URI en los parámetros aplicables cuando crees un trabajo de ajuste supervisado del modelo de texto.

Por ejemplo:

...
"training_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_train_data.jsonl",
...
"validation_dataset_uri": "gs://cloud-samples-data/ai-platform/generative_ai/sft_validation_data.jsonl",
...

Estima el costo de la optimización con un conjunto de datos

El siguiente notebook puede ayudarte a estimar los recuentos de tokens y los costos de ajuste cuando ejecutas un trabajo de ajuste para gemini-1.5-pro-002.

¿Qué sigue?