À propos du réglage supervisé pour les modèles LLM de traduction

L'optimisation supervisée est une bonne option lorsque vous avez une tâche de traduction avec des données textuelles étiquetées disponibles. Cette approche est particulièrement efficace pour les applications spécifiques à un domaine, où la traduction diffère considérablement des données générales sur lesquelles le modèle volumineux a été initialement entraîné.

Le réglage supervisé adapte le comportement du modèle à un ensemble de données étiquetées. Ce processus ajuste les pondérations du modèle afin de minimiser la différence entre ses prédictions et les étiquettes réelles.

Modèles compatibles

Les modèles LLM de traduction suivants sont compatibles avec le réglage supervisé:

  • translation-llm-002 (en version Preview publique, compatible uniquement avec le texte)

Limites

  • Nombre maximal de jetons d'entrée et de sortie :
    • Nombre de diffusions: 1 000 (~4 000 caractères)
  • Taille de l'ensemble de données de validation: 1 024 exemples
  • Taille de fichier de l'ensemble de données d'entraînement : jusqu'à 1 Go pour JSONL
  • Longueur de l'exemple d'entraînement: 1 000 (environ 4 000 caractères)
  • Taille de l'adaptateur :
    • Translation LLM V2: la valeur compatible est uniquement 4. Utiliser d'autres valeurs (par exemple, 1 ou 8) entraîne un échec.

Cas d'utilisation du réglage supervisé

Le modèle de traduction pré-entraîné général fonctionne bien lorsque le texte à traduire est basé sur des structures textuelles générales courantes que le modèle a apprises. Si vous souhaitez qu'un modèle apprenne quelque chose de spécifique ou de différent de la traduction générale, vous pouvez envisager de régler ce modèle. Vous pouvez par exemple utiliser les réglages de modèles pour apprendre au modèle ce qui suit :

  • Contenu spécifique d'un domaine sectoriel avec un jargon ou un style
  • Structures ou formats spécifiques pour générer la sortie.
  • Comportements spécifiques, par exemple lorsqu'il s'agit de fournir une sortie sobre ou détaillée.
  • Sorties personnalisées spécifiques pour des types d'entrées spécifiques.

Configurer une région de job de réglage

Les données utilisateur, telles que l'ensemble de données transformé et le modèle réglé, sont stockées dans la région du job d'optimisation. La seule région compatible est us-central1.

  • Si vous utilisez le SDK Vertex AI, vous pouvez spécifier la région lors de l'initialisation. Exemple :

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Si vous créez un job de réglage supervisé en envoyant une requête POST à l'aide de tuningJobs.create, vous utilisez l'URL pour spécifier la région dans laquelle le job de réglage est exécuté. Par exemple, dans l'URL suivante, vous spécifiez une région en remplaçant les deux instances de TUNING_JOB_REGION par la région où le job est exécuté.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Si vous utilisez la console Google Cloud, vous pouvez sélectionner le nom de la région dans le champ déroulant Région de la page Informations sur le modèle. Il s'agit de la même page que celle sur laquelle vous sélectionnez le modèle de base et le nom d'un modèle réglé.

Quota

Le quota est appliqué au nombre de jobs de réglage simultanés. Chaque projet est associé à un quota par défaut pour exécuter au moins un job de réglage. Il s'agit d'un quota mondial, partagé entre toutes les régions disponibles et tous les modèles compatibles. Si vous souhaitez exécuter plus de jobs simultanément, vous devez demander un quota supplémentaire pour Global concurrent tuning jobs.

Tarifs

L'affinage supervisé pour translation-llm-002 est en preview. Lorsque le réglage est en version preview, le réglage d'un modèle ou son utilisation pour l'inférence n'engendre aucuns frais.

Les jetons d'entraînement sont calculés en fonction du nombre total de jetons dans votre ensemble de données d'entraînement, multiplié par le nombre d'époques.

Étape suivante