Questo documento descrive come definire un set di dati di ottimizzazione fine supervisionata per un modello LLM di traduzione. Puoi ottimizzare i tipi di dati di testo.
Informazioni sui set di dati di ottimizzazione fine supervisionata
Un set di dati di ottimizzazione supervisionata viene utilizzato per ottimizzare un modello pre-addestrato per un dominio specifico. I dati di input devono essere simili a quelli che prevedi che il modello incontrerà nell'uso reale. Le etichette di output devono rappresentare le risposte o gli esiti corretti per ogni input.
Set di dati di addestramento
Per ottimizzare un modello, fornisci un set di dati di addestramento. Per ottenere risultati ottimali, ti consigliamo di iniziare con 100 esempi. Se necessario, puoi aumentare il numero di esempi fino a migliaia. La qualità del set di dati è molto più importante della quantità.
Limitazioni:
- Token di input e output massimi per esempio: 1000
- Dimensione massima del file del set di dati di addestramento: fino a 1 GB per JSONL.
Set di dati di convalida
Ti consigliamo vivamente di fornire un set di dati di convalida. Un set di dati di convalida ti aiuta a misurare l'efficacia di un'attività di ottimizzazione.
Limitazioni:
- Token di input e output massimi per esempio: 1000
- Numero massimo di esempi nel set di dati di convalida: 1024
- Dimensione massima del file del set di dati di addestramento: fino a 1 GB per JSONL.
Formato del set di dati
Il set di dati di ottimizzazione del modello deve essere nel formato JSON Lines (JSONL), in cui ogni riga contiene un singolo esempio di ottimizzazione. Prima di ottimizzare il modello, devi caricare il set di dati in un bucket Cloud Storage. Assicurati di eseguire il caricamento in us-central1.
{
"contents": [
{
"role": string,
"parts": [
{
"text": string,
}
]
}
]
}
Parametri
L'esempio contiene dati con i seguenti parametri:
Parametri | |
---|---|
|
Obbligatorio: I contenuti della conversazione corrente con il modello. Per le query con un solo tratto, si tratta di una singola istanza. |
Esempio di set di dati per translation-llm-002
{
"contents": [
{
"role": "user",
"parts": [
{
"text": "English: Hello. Spanish:",
}
]
}
{
"role": "model"",
"parts": [
{
"text": "Hola.",
}
]
}
]
}
Sommario
Il tipo di dati strutturati di base contenente i contenuti con più parti di un messaggio.
Questa classe è composta da due proprietà principali: role
e parts
. La proprietà role
indica la persona che produce i contenuti, mentre la proprietà parts
contiene
più elementi, ciascuno dei quali rappresenta un segmento di dati all'interno di un messaggio.
Parametri | |
---|---|
|
(Facoltativo) L'identità dell'entità che crea il messaggio. Sono supportati i seguenti valori:
|
|
Un elenco di parti ordinate che compongono un singolo messaggio. Per i limiti agli input, ad esempio il numero massimo di token o il numero di immagini, consulta le specifiche del modello nella pagina Modelli Google. Per calcolare il numero di token nella richiesta, consulta Ottieni il conteggio dei token. |
Parti
Un tipo di dati contenente contenuti multimediali che fanno parte di un messaggio Content
con più parti.
Parametri | |
---|---|
|
(Facoltativo) Un prompt di testo o uno snippet di codice. |
Carica i set di dati di ottimizzazione in Cloud Storage
Per eseguire un job di ottimizzazione, devi caricare uno o più set di dati in un bucket Cloud Storage. Puoi creare un nuovo bucket Cloud Storage o utilizzarne uno esistente per archiviare i file del set di dati. La regione del bucket non è importante, ma ti consigliamo di utilizzare un bucket nello stesso progetto Google Cloud in cui prevedi di ottimizzare il modello.
Una volta creato il bucket, carica il file del set di dati nel bucket.
Passaggi successivi
- Esegui un job di ottimizzazione fine supervisionata.