Informazioni sull'ottimizzazione supervisionata per i modelli LLM di traduzione

L'ottimizzazione supervisionata è una validissima opzione se hai un'attività di traduzione con dati di testo etichettati disponibili. È particolarmente efficace per le applicazioni specifiche del dominio in cui la traduzione differisce in modo significativo dai dati generali su cui è stato originariamente addestrato il modello di grandi dimensioni.

L'ottimizzazione supervisionata adatta il comportamento del modello con un set di dati etichettati. Questo processo regola i pesi del modello per ridurre al minimo la differenza tra le sue previsioni e le etichette effettive.

Modelli supportati

I seguenti modelli LLM di traduzione supportano l'ottimizzazione supervisionata:

  • translation-llm-002 (in Anteprima pubblica, supporta solo il testo)

Limitazioni

  • Token di input e output massimi:
    • Pubblicazione: 1000 (~4000 caratteri)
  • Dimensioni del set di dati di convalida: 1024 esempi
  • Dimensione del file del set di dati di addestramento: fino a 1 GB per JSONL
  • Lunghezza dell'esempio di addestramento: 1000 (~4000 caratteri)
  • Dimensioni adattatore:
    • Translation LLM V2: il valore supportato è solo 4. L'utilizzo di altri valori (ad es. 1 o 8) comporterà un errore.

Casi d'uso per l'utilizzo del fine-tuning supervisionato

Il modello di traduzione preaddestrato generale funziona bene quando il testo da tradurre si basa su strutture di testo comuni generali che il modello ha appreso. Se vuoi che un modello impari qualcosa di poco noto o specifico per un dominio che si discosta dalla traduzione generale, potresti prendere in considerazione l'ottimizzazione del modello. Ad esempio, puoi utilizzare l'ottimizzazione del modello per insegnare al modello quanto segue:

  • Contenuti specifici di un dominio del settore con gergo o stile
  • Strutture o formati specifici per generare l'output.
  • Comportamenti specifici, ad esempio quando fornire un output conciso o dettagliato.
  • Output personalizzati specifici per tipi specifici di input.

Configura una regione del job di ottimizzazione

I dati utente, come il set di dati trasformato e il modello ottimizzato, vengono archiviati nella regione del job di ottimizzazione. L'unica regione supportata è us-central1.

  • Se utilizzi l'SDK Vertex AI, puoi specificare la regione durante l'inizializzazione. Ad esempio:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Se crei un job di perfezionamento supervisionato inviando una richiesta POST utilizzando il metodo tuningJobs.create, utilizzi l'URL per specificare la regione in cui viene eseguito il job di perfezionamento. Ad esempio, nel seguente URL, specifica una regione sostituendo entrambe le istanze di TUNING_JOB_REGION con la regione in cui viene eseguito il job.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Se utilizzi la consoleGoogle Cloud , puoi selezionare il nome della regione nel campo a discesa Regione nella pagina Dettagli modello. Questa è la stessa pagina in cui selezioni il modello di base e un nome del modello ottimizzato.

Quota

La quota viene applicata al numero di job di ottimizzazione simultanei. Ogni progetto viene fornito con una quota predefinita per eseguire almeno un job di ottimizzazione. Si tratta di una quota globale, condivisa tra tutte le regioni disponibili e i modelli supportati. Se vuoi eseguire più job contemporaneamente, devi richiedere una quota aggiuntiva per Global concurrent tuning jobs.

Prezzi

Il perfezionamento supervisionato per translation-llm-002 è in anteprima. Durante l'anteprima dell'ottimizzazione, non è previsto alcun costo per ottimizzare un modello o utilizzarlo per l'inferenza.

I token di addestramento vengono calcolati in base al numero totale di token nel set di dati di addestramento, moltiplicato per il numero di epoche.

Passaggi successivi