Informazioni sull'ottimizzazione supervisionata per i modelli LLM di traduzione

La messa a punto supervisionata è una buona opzione quando hai un'attività di traduzione con dati di testo etichettati disponibili. È particolarmente efficace per applicazioni specifiche del dominio in cui la traduzione è molto diversa dai dati generali su cui è stato originariamente addestrato il modello di grandi dimensioni.

L'ottimizzazione adattiva supervisionata adatta il comportamento del modello a un set di dati etichettato. Questo processo aggiusta i pesi del modello per ridurre al minimo la differenza tra le sue previsioni e le etichette effettive.

Modelli supportati

I seguenti modelli LLM di traduzione supportano l'ottimizzazione supervisionata:

  • translation-llm-002 (in Anteprima pubblica, supporta solo il testo)

Limitazioni

  • Token di input e output massimi:
    • Pubblicazione: 1000 (~4000 caratteri)
  • Dimensioni del set di dati di convalida: 1024 esempi
  • Dimensione del file del set di dati di addestramento: fino a 1 GB per JSONL
  • Lunghezza dell'esempio di addestramento: 1000 (~4000 caratteri)
  • Dimensioni adattatore:
    • Translation LLM V2: il valore supportato è solo 4. L'utilizzo di altri valori (ad es. 1 o 8) comporterà un errore.

Casi d'uso per l'utilizzo della messa a punto supervisionata

Il modello di traduzione preaddestrato generale funziona bene quando il testo da tradurre si basa su strutture di testo comuni generali che il modello ha appreso. Se vuoi che un modello apprenda qualcosa di poco noto o specifico per un dominio che si discosta dalla traduzione generale, ti consigliamo di ottimizzare il modello. Ad esempio, puoi utilizzare la regolazione del modello per insegnare al modello quanto segue:

  • Contenuti specifici di un dominio di settore con gergo o stile
  • Strutture o formati specifici per la generazione di output.
  • Comportamenti specifici, ad esempio quando fornire un output conciso o dettagliato.
  • Output personalizzati specifici per tipi specifici di input.

Configurare una regione per il job di ottimizzazione

I dati utente, come il set di dati trasformato e il modello ottimizzato, vengono archiviati nella regione del job di ottimizzazione. L'unica regione supportata è us-central1.

  • Se utilizzi l'SDK Vertex AI, puoi specificare la regione all'inizializzazione. Ad esempio:

    import vertexai
vertexai.init(project='myproject', location='us-central1')

  • Se crei un job di ottimizzazione fine supervisionata inviando una richiesta POST utilizzando il metodo tuningJobs.create, utilizza l'URL per specificare la regione in cui viene eseguito il job di ottimizzazione. Ad esempio, nel seguente URL, specifichi una regione sostituendo entrambe le istanze di TUNING_JOB_REGION con la regione in cui viene eseguito il job.

     https://TUNING_JOB_REGION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/TUNING_JOB_REGION/tuningJobs

  • Se utilizzi la console Google Cloud, puoi selezionare il nome della regione nel campo a discesa Regione nella pagina Dettagli del modello. Si tratta della stessa pagina in cui selezioni il modello di base e un nome per il modello ottimizzato.

Quota

La quota viene applicata al numero di job di ottimizzazione simultanei. Ogni progetto viene fornito con una quota predefinita per l'esecuzione di almeno un job di ottimizzazione. Si tratta di una quota globale, condivisa tra tutte le regioni disponibili e i modelli supportati. Se vuoi eseguire più job contemporaneamente, devi richiedere una quota aggiuntiva per Global concurrent tuning jobs.

Prezzi

Il perfezionamento supervisionato per translation-llm-002 è in anteprima. Mentre l'ottimizzazione è in anteprima, non è previsto alcun costo per ottimizzare un modello o utilizzarlo per l'inferenza.

I token di addestramento vengono calcolati moltiplicando il numero totale di token nel set di dati di addestramento per il numero di epoche.

Passaggi successivi