Ottimizza i prompt

Questo documento descrive come utilizzare l'ottimizzazione dei prompt di Vertex AI per ottimizzare automaticamente le prestazioni dei prompt migliorando istruzioni di sistema relative un insieme di prompt.

L'ottimizzatore di prompt di Vertex AI può aiutarti a migliorare rapidamente i prompt su larga scala, senza dover riscrivere manualmente le istruzioni di sistema o i singoli prompt. Ciò è particolarmente utile quando vuoi utilizzare le impostazioni istruzioni e prompt scritti per un modello con un modello diverso.

L'ottimizzatore di prompt di Vertex AI aiuta a migliorare i prompt valutando la risposta del modello ai prompt di esempio in base alle metriche di valutazione specificate. Per utilizzare lo ottimizzatore di prompt di Vertex AI, devi disporre di quanto segue:

  • Un insieme di prompt di esempio
  • Istruzioni di sistema utilizzate da tutti i tuoi prompt di esempio
  • Un modello di prompt che fa riferimento ai prompt di esempio

Esempio di ottimizzazione del prompt

Ad esempio, per ottimizzare le istruzioni di sistema per un insieme di prompt che fanno riferimento a informazioni contestuali per rispondere a domande sulla cucina, puoi utilizzare l'ottimizzatore di prompt di Vertex AI. Per completare questa attività, ti prepari gli input sono simili ai seguenti:

Istruzioni di sistema

You are a professional chef. Your goal is teaching how to cook healthy cooking recipes to your apprentice.

Given a question from your apprentice and some context, provide the correct answer to the question.
Use the context to return a single and correct answer with some explanation.

Modello di prompt

Question: {input_question}
Facts: {input_context}

Prompt di esempio

input_question input_context
Quali sono alcune tecniche per cucinare carne rossa e maiale che massimizzano sapore e indolenzimento, riducendo al minimo la formazione di composti? La carne rossa e la carne di maiale devono essere cotte a una temperatura interna di 145 gradi Fahrenheit (63 gradi Celsius) per garantire la sicurezza. Marinare la carne con ingredienti acidi come succo di limone o aceto può aiutarti a renderla più tenera rompendo le fibre muscolari dure. Metodi di cottura a temperatura elevata come la cottura alla griglia o la padella può creare una doratura deliziosa e ma è importante evitare le scottature, che possono produrre composti dannosi.
Quali sono alcuni modi creativi per aggiungere sapore e nutrimento agli shake proteici senza utilizzare zuccheri aggiunti o ingredienti artificiali? L'aggiunta di verdure a foglia verde come spinaci o cavolo è un ottimo modo per aumentare il valore nutritivo del tuo frullato senza alterarne drasticamente il sapore. L'uso di latte di mandorle non zuccherato o acqua di cocco al posto del latte normale può aggiungere una leggera dolcezza e un pizzico di grassi o elettroliti sani, rispettivamente. Sapevi che mescolare eccessivamente il tuo frullato può effettivamente riscaldarlo? Per mantenere il tutto fresco e rinfrescante, frulla per brevi intervalli e fai una pausa al frullatore, se necessario.

Come funziona l'ottimizzazione

Dopo aver preparato gli input, scegli una modalità di ottimizzazione, una metrica di valutazione e un modello target.

  • Modalità di ottimizzazione: specifica se il prompt di Vertex AI ottimizzatore ottimizza le istruzioni di sistema, seleziona prompt di esempio da aggiungere le istruzioni del sistema, con pochi esempi di immagini, o entrambi.
  • Metrica di valutazione: la metrica utilizzata dall'ottimizzatore dei prompt di Vertex AI per ottimizzare le istruzioni di sistema e/o selezionare i prompt di esempio.
  • Modello di destinazione: Modello Google che Il prompt ottimizzatore di prompt di Vertex AI ottimizza le istruzioni di sistema e/o seleziona prompt di esempio da utilizzare.

Quando esegui l'ottimizzatore di prompt di Vertex AI, le istruzioni di sistema vengono ottimizzate in base alle tue selezioni mediante l'esecuzione di un job di addestramento personalizzato in cui vengono valutati in modo iterativo i prompt di esempio e riscritte le istruzioni di sistema per trovare la versione che genera il punteggio di valutazione migliore per il modello di destinazione.

Al termine del job, l'ottimizzatore di prompt di Vertex AI genera le istruzioni di sistema ottimizzate con il relativo punteggio di valutazione.

Istruzioni di sistema ottimizzate

As a highly skilled chef with a passion for healthy cooking, you love sharing your knowledge with
aspiring chefs. Today, a culinary intern approaches you with a question about healthy cooking. Given
the intern's question and some facts, provide a clear, concise, and informative answer that will help
the intern excel in their culinary journey.

Modelli supportati

Puoi ottimizzare le istruzioni di sistema in modo da utilizzarle con i seguenti modelli:

Metriche di valutazione supportate

L'ottimizzatore di prompt di Vertex AI supporta le metriche di valutazione personalizzate e, inoltre, le seguenti metriche di valutazione:

Tipo di metrica Caso d'uso Metrica Descrizione
Basato sul modello Riassumi summarization_quality Descrive la capacità del modello di rispondere a domande dato un corpo di testo a riferimento.
Risposta alle domande question_answering_correctness* Descrive la capacità del modello di rispondere correttamente a una domanda.
question_answering_quality Descrive la capacità del modello di rispondere alle domande in base a un testo di riferimento.
Coerenza coherence Descrive la capacità del modello di fornire una risposta coerente e misure il flusso logico e di senso del testo generato.
Sicurezza safety Descrive il livello di sicurezza del modello, ovvero se la risposta contiene testo non sicuro.
Fluenza fluency Descrive la padronanza linguistica del modello.
Maratona groundedness Descrive la capacità del modello di fornire o fare riferimento alle informazioni incluse solo nel testo di input.
In base ai calcoli Utilizzo dello strumento e chiamata delle funzioni tool_call_valid* Descrive la capacità del modello di prevedere una chiamata d'uso valida.
tool_name_match* Descrive la capacità del modello di prevedere la chiamata di uno strumento con lo strumento corretto nome. Viene ispezionata solo la prima chiamata dello strumento.
tool_parameter_key_match* Descrive la capacità del modello di prevedere una chiamata allo strumento con i nomi dei parametri corretti.
tool_parameter_kv_match* Descrive la capacità del modello di prevedere la chiamata di uno strumento con il valore i nomi dei parametri e le coppie chiave-valore.
Generare testo generico bleu* Contiene il risultato di un algoritmo per la valutazione della qualità della previsione, che è stata tradotta da un linguaggio naturale all'altro. La qualità della previsione è considerata la corrispondenza tra un parametro di previsione e il relativo parametro di riferimento.
exact_match* Calcola se un parametro di previsione corrisponde esattamente a un parametro di riferimento.
rouge_1* Utilizzato per confrontare il parametro di previsione fornito con un di riferimento.
rouge_2*
rouge_l*
rouge_l_sum*

* Se vuoi ottimizzare i prompt utilizzando le valutazioni basate su question_answering_correctness o sui calcoli, devi eseguire una delle seguenti operazioni:

  • Aggiungi una variabile che rappresenti la risposta basata su dati di fatto per i tuoi prompt al modello di prompt.
  • Se non hai risposte basate su dati di fatto per i tuoi prompt, ma in precedenza hai utilizzato i prompt con un modello Google e hai ottenuto i risultati previsti, puoi aggiungere il parametro source_model alla configurazione anziché aggiungere le risposte basate su dati di fatto. Se il parametro source_model è impostato, Vertex AI esegue di prompt di esempio sul modello di origine per generare risposte basate su dati empirici reali per te.

Prima di iniziare

Ottimizza i prompt

Puoi ottimizzare i prompt eseguendo Blocco note dell'ottimizzatore dei prompt di Vertex AI, o l'API Vertex AI. Per ottimizzare i prompt, scegli il metodo che vuoi usare per eseguire l'ottimizzazione dei prompt di Vertex AI, quindi i passaggi come descritto in dettaglio nelle seguenti sezioni:

  1. Creare un modello di prompt e istruzioni di sistema
  2. Preparare prompt di esempio
  3. Creare una configurazione
  4. Esegui il job di ottimizzazione del prompt
  5. Analizzare i risultati ed eseguire l'iterazione

Crea un modello di prompt e le istruzioni di sistema

I modelli di prompt definiscono il formato di tutti i prompt tramite variabili sostituibili. Quando utilizzi un modello di prompt per ottimizzare i prompt, vengono sostituite dai dati nel set di dati del prompt.

Le variabili del modello di prompt devono soddisfare i seguenti requisiti:

  • Le variabili devono essere racchiuse tra parentesi graffe
  • I nomi delle variabili non devono contenere spazi

  • Le variabili che rappresentano input multimodali devono includere la stringa MIME_TYPE dopo la variabile:

    @@@MIME_TYPE

    Sostituisci MIME_TYPE con un tipo MIME di immagine, video, audio o documento supportato dal modello di destinazione.

Crea un modello di prompt e le istruzioni di sistema utilizzando uno dei seguenti metodi:

Blocco note

Se vuoi eseguire l'ottimizzatore di prompt di Vertex AI tramite il notebook, crea istruzioni di sistema e un modello di prompt come segue:

  1. In Colab Enterprise, apri il prompt di Vertex AI ottimizzatore di blocco note.

    Vai al notebook dell'ottimizzatore dei prompt di Vertex AI

  2. Nella sezione Creare un modello di prompt e istruzioni di sistema, segui questi passaggi:

    1. Nel campo SYSTEM_INSTRUCTION, inserisci le istruzioni di sistema. Ad esempio:

      Based on the following images and articles respond to the questions.'\n' Be concise,
and answer \"I don't know\" if the response cannot be found in the provided articles or images.

    2. Nel campo PROMPT_TEMPLATE, inserisci il modello di prompt. Per esempio:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

    3. Se vuoi ottimizzare i prompt utilizzando le valutazioni basate su question_answering_correctness o sui calcoli, devi svolgere una delle seguenti operazioni:

    • Aggiungi la variabile {target} al prompt per rappresentare la risposta basata su dati empirici reali del prompt. Ad esempio:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • Se non disponi di risposte basate su dati empirici reali per i tuoi prompt, ma in precedenza ha utilizzato i prompt modello Google e hai ottenuto risultati mirati, puoi aggiungere il parametro source_model configurazione anziché aggiungere dati empirici reali diverse. Quando il parametro source_model è impostato, il valore Vertex AI Prompt ottimizzatore esegue i prompt di esempio sul di origine per generare le risposte basate su dati empirici reali per te.

SDK

Se vuoi eseguire l'ottimizzazione dei prompt di Vertex AI tramite l'SDK senza usare il blocco note, creare file di testo per il modello di prompt e istruzioni di sistema nel seguente modo:

  1. Crea un file di testo per le istruzioni di sistema.

  2. Nel file di testo, definisci le istruzioni di sistema nel file di testo. Ad esempio:

    Based on the following images and articles respond to the questions.'\n' Be concise, and answer \"I don't know\" if the response cannot be found in the provided articles or images.

  3. Crea un file di testo per il modello di prompt.

  4. Nel file di testo, definisci un modello di prompt che includa uno o più come la codifica one-hot delle variabili categoriche. Ad esempio:

    Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}

  5. Se vuoi ottimizzare i prompt utilizzando le valutazioni basate su question_answering_correctness o sui calcoli, devi svolgere una delle seguenti operazioni:

    • Aggiungi la variabile {target} al prompt per rappresentare la risposta basata su dati empirici reali del prompt. Ad esempio:

      Article 1:\n\n{article_1}\n\nImage 1:\n\n{image_1} @@@image/jpeg\n\nQuestion: {question}\n\n Answer: {target}

    • Se non hai risposte di verità oggettive per i tuoi prompt, ma hai utilizzato in precedenza i prompt con un modello Google e hai ottenuto i risultati mirati, puoi aggiungere il parametro source_model alla configurazione anziché aggiungere risposte di verità oggettive. Quando il parametro source_model è impostato, l'ottimizzatore dei prompt di Vertex AI esegue i prompt di esempio sul modello di origine per generare le risposte basate su dati di fatto.

Prepara i prompt di esempio

Per ottenere i migliori risultati dal prompt di ottimizzazione di Vertex AI, utilizza 50-100 prompt di esempio.

  • Lo strumento può comunque essere efficace con un minimo di 5 prompt di esempio.
  • Gli esempi migliori includono quelli in cui il modello target ha un rendimento scarso.

I prompt di esempio contengono i dati che sostituiscono le variabili nel prompt modello. Puoi utilizzare un file JSONL o CSV per archiviare i prompt di esempio.

File JSONL

  1. Creare un file JSONL.

  2. Nel file JSONL, aggiungi i dati del prompt che sostituiscono ogni variabile. Ad esempio:

    {"article_1": "The marine life …", "image_1": "gs://path_to_image", "Question": "What are some most effective ways to reduce ocean pollution?", "target": "The articles and images don't answer this question."}

{"article_1": "During the year …", "image_1": "gs://path_to_image", "Question": "Who was the president in 2023?", "target": "Joe Biden"}

  3. Carica il file JSONL in un bucket Cloud Storage.

File CSV

  1. Crea un file CSV.
  2. Nella prima riga, aggiungi le variabili dal modello di prompt.
  3. Nelle righe seguenti, aggiungi i dati di esempio che sostituiscono ogni variabile.
  4. Carica il file CSV in un bucket Cloud Storage.

Creare una configurazione

La configurazione dell'ottimizzatore dei prompt di Vertex AI specifica i parametri da impostare per il job di ottimizzazione dei prompt, tra cui:

  • Modalità di ottimizzazione: specifica se il prompt di Vertex AI ottimizzatore ottimizza le istruzioni di sistema, seleziona prompt di esempio da aggiungere le istruzioni del sistema, con pochi esempi di immagini, o entrambi.
  • Metrica di valutazione: quella utilizzata dall'ottimizzatore dei prompt di Vertex AI per ottimizzare le istruzioni di sistema e/o selezionare prompt di esempio.
  • Modello di destinazione: il modello di Google per il quale l'ottimizzatore di prompt di Vertex AI ottimizza le istruzioni di sistema e/o seleziona i prompt di esempio da utilizzare.

Crea una configurazione utilizzando una delle seguenti opzioni:

Blocco note

Se vuoi eseguire l'ottimizzatore dei prompt di Vertex AI tramite il blocco note, crea una configurazione nel seguente modo:

  1. In Colab Enterprise, apri il notebook dell'ottimizzatore dei prompt di Vertex AI.

    Vai al notebook dell'ottimizzatore dei prompt di Vertex AI

  2. Nella sezione Configura le impostazioni del progetto, segui questi passaggi:

    1. Nel campo PROJECT_ID, inserisci il tuo ID progetto.
    2. Nel campo LOCATION, inserisci la posizione in cui vuoi eseguire il Vertex AI Prompt ottimizzatore.
    3. Nel campo OUTPUT_PATH, inserisci l'URI del bucket Cloud Storage in cui vuoi che lo strumento di ottimizzazione dei prompt di Vertex AI scriva le istruzioni di sistema ottimizzate e/o gli esempi con pochi scatti. Ad esempio, gs://bucket-name/output-path.
    4. Nel campo INPUT_PATH, inserisci l'URI dell'esempio nel tuo bucket Cloud Storage. Ad esempio: gs://bucket-name/sample-prompts.jsonl.

  3. Nella sezione Configura le impostazioni di ottimizzazione, procedi nel seguente modo:

    1. Nel campo TARGET_MODEL, inserisci il valore model che vuoi ottimizzare per l'utilizzo con.
    2. In OPTIMIZATION_MODE, entra nella modalità di ottimizzazione che desideri per gli utilizzi odierni. Deve essere uno tra instruction, demonstration o instruction_and_demo.
    3. Nel campo EVAL_METRIC, inserisci il valore metrica di valutazione che vuoi per ottimizzare i tuoi prompt.
    4. (Facoltativo) Nel campo SOURCE_MODEL, inserisci il valore Modello Google che il sistema istruzioni e prompt. Quando il parametro source_model è impostato, l'ottimizzatore dei prompt di Vertex AI esegue i prompt di esempio sul modello di origine per generare le risposte basate su dati di fatto per te, per le metriche di valutazione che richiedono risposte basate su dati di fatto. Se in precedenza non hai eseguito i prompt con un modello Google o non hai raggiunto i risultati target, aggiungi invece risposte di riferimento al prompt. Per ulteriori informazioni, consulta Crea un prompt e le istruzioni di sistema di questo documento.

  4. (Facoltativo) Nella sezione Configura le impostazioni di ottimizzazione avanzata, puoi anche aggiungere uno dei parametri facoltativi alla configurazione.

    5. Visualizzare i parametri facoltativi
    • Nel campo NUM_INST_OPTIMIZATION_STEPS inserisci il numero di iterazioni usate dal prompt ottimizzatore di Vertex AI la modalità di ottimizzazione delle istruzioni. Il tempo di esecuzione aumenta in modo lineare man mano che aumenta questo valore. Deve essere un numero intero compreso tra 10 e 20. Se lasciato non viene configurato, il valore predefinito è 10.
    • Nel campo NUM_TEMPLATES_PER_STEP, inserisci il numero di istruzioni di sistema generate e valutate dall'ottimizzatore dei prompt di Vertex AI. Utilizzato con la modalità di ottimizzazione instruction e instruction_and_demo. Deve essere un numero intero compreso tra 1 e 4. Se non viene impostato, il valore predefinito è 2.
    • Nel campo NUM_DEMO_OPTIMIZATION_STEPS, inserisci il numero di dimostrazioni valutate dall'ottimizzatore dei prompt di Vertex AI. Utilizzato con le modalità di ottimizzazione demonstration e instruction_and_demo. Deve essere un numero intero compreso tra 10 e 30. Se non viene impostato, il valore predefinito è 10.
    • Nel campo NUM_DEMO_PER_PROMPT, inserisci il numero di dimostrazioni generate per prompt. Deve essere un numero intero compreso tra 3 e 6. Se non viene impostato, il valore predefinito è 3.
    • Nel campo TARGET_MODEL_QPS, inserisci le query al secondo (QPS) inviate dall'ottimizzatore dei prompt di Vertex AI al modello di destinazione. Il tempo di esecuzione diminuisce in modo lineare con l'aumento di questo valore. Deve essere un numero in virgola mobile pari o superiore a 3.0, ma inferiore alla quota QPS che hai sul modello di destinazione. Se non viene configurato, il valore predefinito è 3.0.
    • Nel campo SOURCE_MODEL_QPS, inserisci le query al secondo (QPS) che il prompt ottimizzatore di Vertex AI invia al prompt un modello di origine. Deve essere un numero in virgola mobile di almeno 3.0, ma inferiore rispetto alla quota QPS presente sul modello di origine. Se non viene impostato, il valore predefinito è 3.0.
    • Nel campo EVAL_QPS, inserisci le query al secondo (QPS) che l'ottimizzatore dei prompt di Vertex AI invia alla valutazione modello gemini-1.5-pro.
      • Per le metriche basate su modelli, deve essere un valore float maggiore o uguale a 3.0, ma inferiore alla quota che hai per gemini-1.5-pro. Se non viene impostato, il valore predefinito è 3.0.
      • Per le metriche personalizzate, deve essere un numero in virgola mobile maggiore o uguale a 3.0. Questo determina la frequenza con cui il prompt di Vertex AI l'ottimizzatore chiama le funzioni Cloud Run della metrica personalizzata.
    • Se vuoi utilizzare più di una metrica di valutazione:
      1. Nel campo EVAL_METRIC_1, inserisci una metrica di valutazione che vuoi utilizzare.
      2. Nel campo EVAL_METRIC_1_WEIGHT, inserisci il peso che vuoi che l'ottimizzatore di prompt di Vertex AI utilizzi quando esegue l'ottimizzazione.
      3. Nel campo EVAL_METRIC_2, inserisci una metrica di valutazione che che vuoi usare.
      4. Nel campo EVAL_METRIC_2_WEIGHT, inserisci il peso che vuoi che l'ottimizzatore dei prompt di Vertex AI utilizzi quando esegue l'ottimizzazione.
      5. Nel campo EVAL_METRIC_3, inserisci facoltativamente una valutazione che vuoi utilizzare.
      6. Se vuoi, nel campo EVAL_METRIC_3_WEIGHT inserisci
      7. Nel campo METRIC_AGGREGATION_TYPE, inserisci la ponderazione che l'ottimizzatore dei prompt di Vertex AI utilizzi durante l'esecuzione l'ottimizzazione.
    • Nel campo PLACEHOLDER_TO_VALUE, inserisci le informazioni sostituisce qualsiasi variabile nelle istruzioni di sistema. Le informazioni incluse in questo flag non sono ottimizzate dall'ottimizzatore del prompt di Vertex AI.
    • Nel campo RESPONSE_MIME_TYPE, inserisci il Tipo di risposta MIME utilizzati dal modello di destinazione. Deve essere uno tra text/plain o application/json. Se non viene configurato, il valore predefinito è text/plain.
    • Nel campo TARGET_LANGUAGE, inserisci la lingua del sistema istruzioni. Se non viene impostato, il valore predefinito è l'inglese.

SDK

Se vuoi eseguire l'ottimizzatore dei prompt di Vertex AI tramite il notebook, crea un file JSON con i parametri che vuoi utilizzare per ottimizzare i prompt nel seguente modo:

  1. Crea un file JSON con i parametri che vuoi utilizzare per l'ottimizzazione i tuoi prompt. Ogni file di configurazione richiede i seguenti parametri:

    {
 "project": "PROJECT_ID",
 "system_instruction_path": "SYSTEM_INSTRUCTION_PATH",
 "prompt_template_path": "PROMPT_TEMPLATE_PATH",
 "target_model": "TARGET_MODEL",
 "eval_metric": "EVALUATION_METRIC"
 "optimization_mode": "OPTIMIZATION_MODE",
 "input_data_path": "SAMPLE_PROMPT_URI",
 "output_path": "OUTPUT_URI"
}

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • SYSTEM_INSTRUCTION_PATH: l'URI dell'URL le istruzioni di sistema nel tuo bucket Cloud Storage. Ad esempio, gs://bucket-name/system-instruction.txt.
    • PROMPT_TEMPLATE: l'URI per il modello di prompt nel bucket Cloud Storage. Ad esempio: gs://bucket-name/prompt-template.txt
    • TARGET_MODEL: il model che vuoi ottimizzare per l'utilizzo con.
    • EVALUATION_METRIC: la metrica di valutazione in base alla quale vuoi ottimizzare i prompt.
    • OPTIMIZATION_MODE: la modalità di ottimizzazione. Deve essere instruction, demonstration o instruction_and_demo.
    • SAMPLE_PROMPT_URI: l'URI per i prompt di esempio nel bucket Cloud Storage. Ad esempio, gs://bucket-name/sample-prompts.jsonl.
    • OUTPUT_URI: l'URI di Cloud Storage in cui vuoi che il prompt di ottimizzazione di Vertex AI per scrivere le istruzioni di sistema ottimizzate e/o alcuni esempi. Ad esempio, gs://bucket-name/output-path.

  2. Puoi inoltre aggiungere qualsiasi parametro facoltativo ai tuoi di configurazione del deployment.

    I parametri facoltativi sono suddivisi in cinque categorie:

    • Parametri del processo di ottimizzazione. Questi parametri controllano il l'intero processo di ottimizzazione, tra cui la sua durata e il numero delle iterazioni di ottimizzazione eseguite, il che influisce direttamente sulla qualità ottimizzazioni.
    • Selezione del modello e parametri di località. Questi parametri specificano che modella il prompt ottimizzato di Vertex AI e località in cui vengono utilizzati questi modelli.
    • Parametri di latenza (QPS). Questi parametri controllano il QPS e influiscono sulla velocità del processo di ottimizzazione.
    • Metriche di valutazione. Questi parametri definiscono in che modo vengono valutati i prompt ottimizzati.
    • Altro. Altri parametri che controllano la struttura e i contenuti personalizzati.

      Visualizza i parametri facoltativi
      "num_steps": NUM_INST_OPTIMIZATION_STEPS,
"num_template_eval_per_step": NUM_TEMPLATES_PER_STEP,
"num_demo_set_candidates": "NUM_DEMO_OPTIMIZATION_STEPS,
"demo_set_size": NUM_DEMO_PER_PROMPT,
"target_model_location": "TARGET_MODEL_LOCATION",
"source_model": "SOURCE_MODEL",
"source_model_location": "SOURCE_MODEL_LOCATION",
"target_model_qps": TARGET_MODEL_QPS,
"eval_qps": EVAL_QPS,
"source_model_qps": SOURCE_MODEL_QPS,
"eval_metrics_types": [EVALUATION_METRIC_LIST],
"eval_metrics_weights": [EVAL_METRICS_WEIGHTS],
"aggregation_type": "METRIC_AGGREGATION_TYPE",
"response_mime_type": "RESPONSE_MIME_TYPE",
"language": "TARGET_LANGUAGE",
"placeholder_to_content": "PLACEHOLDER_TO_CONTENT",
"data_limit": DATA_LIMIT

      Sostituisci quanto segue:

      • Parametri del processo di ottimizzazione:

        • NUM_INST_OPTIMIZATION_STEPS: il numero di iterazioni usate dal prompt ottimizzatore di Vertex AI la modalità di ottimizzazione delle istruzioni. Il tempo di esecuzione aumenta in modo lineare man mano che aumenta questo valore. Deve essere un numero intero compreso tra 10 e 20. Se non viene impostato, il valore predefinito è 10.
        • NUM_TEMPLATES_PER_STEP: il numero del sistema Istruzioni generate dall'ottimizzatore dei prompt di Vertex AI e valuta. Utilizzato con la modalità di ottimizzazione instruction e instruction_and_demo. Deve essere un numero intero compreso tra 1 e 4. Se non viene impostato, il valore predefinito è 2.
        • NUM_DEMO_OPTIMIZATION_STEPS: il numero di dimostrazioni che il motore di ottimizzazione dei prompt di Vertex AI . Utilizzata con demonstration e instruction_and_demo modalità di ottimizzazione. Deve essere un numero intero compreso tra 10 e 30. Se non viene impostato, il valore predefinito è 10.
        • NUM_DEMO_PER_PROMPT: il numero di dimostrazioni generate per prompt. Deve essere un numero intero compreso tra 3 e 6. Se non viene impostato, il valore predefinito è 3.

      • Selezione del modello e parametri di località:

        • TARGET_MODEL_LOCATION: il località che vuoi eseguire del modello di destinazione. Se non viene impostato, il valore predefinito è us-central1.
        • SOURCE_MODEL: il modello di Google con cui in precedenza venivano utilizzati i prompt e le istruzioni del sistema. Quando il parametro source_model è impostato, Vertex AI esegue i prompt di esempio sul modello di origine per generare le risposte basate su dati di fatto per te, per le metriche di valutazione che richiedono risposte basate su dati di fatto. Se non hai già eseguito i tuoi prompt con un account o non hai raggiunto i risultati target, aggiungi dati di fatto risposte al prompt. Per saperne di più, consulta la sezione Creare un prompt e istruzioni di sistema di questo documento.
        • SOURCE_MODEL_LOCATION: il località che vuoi eseguire del modello di origine. Se non viene configurato, il valore predefinito è us-central1.

      • Parametri di latenza (QPS):

        • TARGET_MODEL_QPS: il numero di query al secondo (QPS) che l'ottimizzatore dei prompt di Vertex AI invia al modello di destinazione. Il tempo di esecuzione diminuisce in modo lineare con l'aumento di questo valore. Deve essere un numero in virgola mobile di almeno 3.0, ma minore del La quota QPS presente sul modello target. Se non viene configurato, il valore predefinito è 3.0.
        • EVAL_QPS: le query al secondo (QPS) che l'ottimizzatore dei prompt di Vertex AI invia al modello di valutazione, gemini-1.5-pro.
        • Per le metriche basate su modello, deve essere un numero in virgola mobile pari a 3.0 o maggiore, ma inferiore alla quota a tua disposizione gemini-1.5-pro. Se non viene impostato, il valore predefinito è 3.0.
        • Per le metriche personalizzate, deve essere un numero in virgola mobile di almeno 3.0. Questo determina la frequenza con cui il prompt di Vertex AI l'ottimizzatore chiama le funzioni Cloud Run della metrica personalizzata.
        • SOURCE_MODEL_QPS: le query al secondo (QPS) inviate dall'ottimizzatore dei prompt di Vertex AI al modello di origine. Deve essere un numero in virgola mobile di almeno 3.0, ma inferiore rispetto alla quota QPS presente sul modello di origine. Se non viene impostato, il valore predefinito è 3.0.

      • Parametri delle metriche di valutazione:

        • EVALUATION_METRIC_LIST: un elenco di valutazioni metriche di valutazione. Utilizza eval_metrics_types anziché eval_metric se vuoi utilizzare più metriche di valutazione. Deve essere un array. Ad esempio, "bleu", "summarization_quality".
        • EVAL_METRICS_WEIGHTS: il peso per ogni eval_metrics_type. Deve essere un array.
        • METRIC_AGGREGATION_TYPE: il tipo di e l'aggregazione utilizzata per le metriche di valutazione. Deve essere uno di weighted_sum o weighted_average. Se non viene impostato, il valore predefinito è weighted_sum.

      • Altri parametri:

        • RESPONSE_MIME_TYPE: il Tipo di risposta MIME utilizzati dal modello di destinazione. Deve essere uno tra text/plain o application/json. Se non viene impostato, il valore predefinito è text/plain.
        • TARGET_LANGUAGE: la lingua delle istruzioni del sistema. Se non viene impostato, il valore predefinito è l'inglese.
        • PLACEHOLDER_TO_CONTENT: le informazioni che sostituiscono eventuali variabili nelle istruzioni di sistema. Le informazioni incluse in questo flag non sono ottimizzate dall'ottimizzatore dei prompt di Vertex AI.
        • DATA_LIMIT: la quantità di dati utilizzati per dei dati. Il tempo di esecuzione aumenta in modo lineare con questo valore. Deve essere un numero intero compreso tra 5 e 100. Se non viene configurato, il valore predefinito è 100.

  3. Carica il file JSON in un bucket Cloud Storage.

Esegui lo strumento di ottimizzazione dei prompt

Esegui l'ottimizzatore di prompt di Vertex AI utilizzando una delle seguenti opzioni:

Blocco note

Esegui l'ottimizzazione dei prompt di Vertex AI tramite il blocco note nel seguente modo:

  1. In Colab Enterprise, apri il prompt di Vertex AI ottimizzatore di blocco note.

    Vai al notebook dell'ottimizzatore dei prompt di Vertex AI

  2. Nella sezione Esegui ottimizzazione prompt, fai clic su play_circle Esegui cella.

    Viene eseguito l'ottimizzatore dei prompt di Vertex AI.

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

  • LOCATION: la posizione in cui vuoi eseguire il prompt di Vertex AI ottimizzatore.
  • PROJECT_ID: il tuo ID progetto.
  • JOB_NAME: un nome per il job di ottimizzazione dei prompt di Vertex AI.
  • PATH_TO_CONFIG: l'URI del file di configurazione nel bucket Cloud Storage. Ad esempio, gs://bucket-name/configuration.json.

Metodo HTTP e URL: 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs

Corpo JSON della richiesta: 

{
  "displayName": "JOB_NAME",
  "jobSpec": {
    "workerPoolSpecs": [
      {
        "machineSpec": {
          "machineType": "n1-standard-4"
        },
        "replicaCount": 1,
        "containerSpec": {
          "imageUri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
          "args": ["--config=PATH_TO_CONFIG""]
        }
      }
    ]
  }
}

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Salva il corpo della richiesta in un file denominato request.json. ed esegui questo comando: 

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs"

PowerShell

Salva il corpo della richiesta in un file denominato request.json, quindi esegui il comando seguente: 

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/customJobs" | Select-Object -Expand Content

La risposta è simile alla seguente:

Python

Prima di provare questo esempio, segui le istruzioni di configurazione Python riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta API Python Vertex AI documentazione di riferimento.

Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale. 

from google.cloud import aiplatform

# Initialize Vertex AI platform
aiplatform.init(project=PROJECT_ID, location="us-central1")

# TODO(Developer): Check and update lines below
# cloud_bucket = "gs://cloud-samples-data"
# config_path = f"{cloud_bucket}/instructions/sample_configuration.json"
# output_path = "custom_job/output/"

custom_job = aiplatform.CustomJob(
    display_name="Prompt Optimizer example",
    worker_pool_specs=[
        {
            "replica_count": 1,
            "container_spec": {
                "image_uri": "us-docker.pkg.dev/vertex-ai-restricted/builtin-algorithm/apd:preview_v1_0",
                "args": [f"--config={cloud_bucket}/{config_path}"],
            },
            "machine_spec": {
                "machine_type": "n1-standard-4",
            },
        }
    ],
    staging_bucket=cloud_bucket,
    base_output_dir=f"{cloud_bucket}/{output_path}",
)

custom_job.submit()
print(f"Job resource name: {custom_job.resource_name}")
# Example response:
#    'projects/123412341234/locations/us-central1/customJobs/12341234123412341234'

Analizza i risultati ed esegui l'iterazione

Dopo aver eseguito l'ottimizzatore di prompt di Vertex AI, controlla l'avanzamento del job utilizzando una delle seguenti opzioni:

Blocco note

Se vuoi visualizzare i risultati del prompt di ottimizzazione di Vertex AI tramite il blocco note, procedi nel seguente modo:

  1. Apri il blocco note dell'ottimizzazione dei prompt di Vertex AI.

  2. Nella sezione Esamina i risultati:

    1. Nel campo RESULT_PATH, aggiungi l'URI di Cloud Storage bucket in cui hai configurato l'ottimizzazione dei prompt di Vertex AI scrivere i risultati. Ad esempio, gs://bucket-name/output-path.

    2. Fai clic su play_circle Esegui cella.

Console

  1. Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline di addestramento.

    Vai a Pipeline di addestramento

  2. Fai clic sulla scheda Job personalizzati. di Vertex AI nell'ottimizzazione dei prompt il job di addestramento personalizzato viene visualizzato nell'elenco insieme al relativo stato.

Al termine del job, rivedi le ottimizzazioni come segue:

  1. Nella console Google Cloud, vai a Bucket di Cloud Storage pagina:

    Vai a Bucket

  2. Fai clic sul nome del bucket Cloud Storage.

  3. Accedi alla cartella che ha lo stesso nome della modalità di ottimizzazione che hai utilizzato per valutare i prompt, instruction o demonstration. Se hai utilizzato la modalità instruction_and_demo, vengono visualizzate entrambe le cartelle. La cartella instruction contiene i risultati dell'ottimizzazione delle istruzioni di sistema, mentre la cartella demonstration contiene i risultati dell'ottimizzazione di demonstration e le istruzioni di sistema ottimizzate.

    La cartella contiene i seguenti file:

    • config.json: la configurazione completa utilizzata da Vertex AI ottimizzatore di prompt.
    • templates.json: ogni insieme di istruzioni di sistema e/o esempi con pochi colpi generati dall'ottimizzatore di prompt di Vertex AI e il relativo punteggio di valutazione.
    • eval_results.json: la risposta del modello di destinazione per ogni prompt di esempio per ogni insieme di istruzioni di sistema e/o esempi di pochi scatti generati e il relativo punteggio di valutazione.
    • optimized_results.json: le istruzioni di sistema con il rendimento migliore e/o gli esempi con pochi scatti e il relativo punteggio di valutazione.

  4. Per visualizzare le istruzioni di sistema ottimizzate, visualizza la optimized_results.json.

Passaggi successivi