Testare le funzionalità del modello in Model Garden

Model Garden offre diverse opzioni per visualizzare e testare rapidamente le funzionalità dei modelli. Per i modelli supportati, puoi provare le demo o avviare applicazioni demo chiamate Model Garden Spaces che puoi condividere con altri per mostrare le funzionalità di un modello.

I playground sono basati su endpoint di previsione online di Vertex AI pre-deployment e non comportano costi. Quando apri la scheda del modello per un modello supportato, puoi utilizzare il riquadro Prova per testare rapidamente le funzionalità del modello inviando un prompt di testo. Puoi anche impostare alcuni dei parametri più comuni, come la temperatura e il numero di token di output. Il playground è limitato solo all'input e all'output di testo.

Quando avvii Spaces, hai un'applicazione web funzionante pronta all'uso con molto meno lavoro manuale rispetto al deployment di un modello e alla creazione di un'app per utilizzare l'endpoint del modello. Model Garden esegue il deployment del modello selezionato in Vertex AI e dell'app di esempio in un'istanza Cloud Run che utilizza l'endpoint del modello di cui è stato eseguito il deployment. L'applicazione può anche utilizzare endpoint esistenti o un endpoint MaaS.

Per avviare un modello, apri la scheda del modello supportato e, nel riquadro Prova Spazi, fai clic su uno spazio per avviarlo. Ti vengono addebitati i costi per le macchine utilizzate per il deployment e per l'istanza Cloud Run che ospita l'app.

Prima di iniziare

Questo tutorial richiede di configurare un progetto Google Cloud e abilitare l'API Vertex AI.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Vertex AI API.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Vertex AI API.

    Enable the API

  8. Prova un Playground

    1. Nella Google Cloud console, vai alla scheda di un modello supportato, ad esempio la scheda del modello Gemma 2.

      Vai a Gemma 2

    2. Nel riquadro Prova:

      1. Per Regione, accetta il valore predefinito o scegli la tua regione.
      2. Per Endpoint, seleziona Playground demo.
      3. Nella casella Prompt, inserisci Why is the sky blue?.
      4. Espandi la sezione Opzioni avanzate e visualizza i parametri predefiniti.

      Il pannello di prova per Gemma 2b-it

    3. Fai clic su Invia. L'output viene visualizzato sotto il pulsante Invia.

    Prova Spazi

    Puoi avviare gli spazi con modelli come Gemini, Gemma, Llama e Stable Diffusion. Il seguente elenco è un esempio di ciò che è supportato:

    Autorizzazioni IAM

    Oltre alle autorizzazioni esistenti per utilizzare Vertex AI, devi disporre delle seguenti autorizzazioni per avviare gli spazi:

    Azione Autorizzazioni obbligatorie Finalità
    Abilita API aggiuntive serviceusage.services.enable Abilita le seguenti API:
    • API Cloud Run Admin (run.googleapis.com)
    • API Artifact Registry (artifactregistry.googleapis.com)
    • API Cloud Build (cloudbuild.googleapis.com)
    • API Cloud Logging (logging.googleapis.com)
    Concedi le autorizzazioni ai service account resourcemanager.projects.setIamPolicy Concedi i seguenti ruoli all' service account predefinito di Compute Engine:
    Implementare autorizzazioni specifiche
    • storage.buckets.create
    • run.services.create
    • artifactregistry.repositories.create
    • run.services.setIamPolicy
    Durante il deployment, un insieme di codici sorgente verrà caricato su Cloud Storage e poi verrà eseguito il deployment su Cloud Run con un nuovo servizio creato. artifactregistry.repositories.create è necessario per creare un repository per l'immagine container. Il run.services.setIamPolicy è necessario per rendere il servizio accessibile pubblicamente.

    Se sei il proprietario del progetto, non devi eseguire ulteriori azioni, ma segui le guide in Vertex AI Studio. Se non sei il proprietario del progetto, chiedi all'amministratore del progetto di eseguire le prime due azioni e poi concederti i ruoli Editor (roles/editor) e Amministratore Cloud Run (roles/run.admin).

    Avviare Spaces

    Avvia Spaces per testare e sperimentare un modello da un'applicazione Gradio di esempio.

    1. Nella console Google Cloud , vai a Model Garden per visualizzare la scheda del modello.

      Vai a Model Garden

    2. Seleziona il modello da utilizzare. I modelli supportati hanno un riquadro Prova Spazi, come la scheda del modello Gemma 3.

      Vai a Gemma 3

    3. Fai clic su rocket_launch Esegui per avviare uno spazio.

      1. Puoi scegliere di Richiedere l'autenticazione (tramite Identity Aware Proxy) o Consentire l'accesso pubblico. Per maggiori informazioni, vedi Attivare le API per il primo deployment e concedere le autorizzazioni.
      1. Fai clic su Crea nuovo servizio per avviare il deployment. Puoi monitorare lo stato del deployment dalla scheda del modello.
    4. Quando lo stato di Spaces diventa Pronto, fai clic per visualizzare i dettagli del deployment.

      Per la protezione di base, l'applicazione web richiede una chiave segreta che deve essere aggiunta all'URL quando vengono inviati prompt. Questa chiave segreta è fornita nel campo Chiave segreta.

      1. Fai clic su Apri per iniziare a utilizzare l'app. Puoi inviare prompt al modello e visualizzare le sue risposte dall'interno dell'app.

      Puoi condividere l'URL in modo che anche altri possano provare l'app.

      1. Per chiudere l'accesso all'app, fai clic su Modifica nel campo Controllo dell'accesso.

      Nella scheda Sicurezza della tua applicazione Cloud Run, seleziona Richiedi autenticazione e poi fai clic su Salva. L'applicazione non è più disponibile tramite l'URL. Le visite all'URL restituiscono un errore 403 (accesso negato).

    Esegui la pulizia

    Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

    Elimina spazi

    Per pulire gli spazi, devi eliminare sia le risorse del modello sia quelle dell'applicazione di esempio su Cloud Run.

    Elimina risorse modello

    Dall'app Gradio, puoi eliminare gli endpoint del modello per pulire le risorse di Vertex AI. Poi, devi eliminare il servizio Cloud Run per arrestare ed eliminare l'app Gradio.

    Per eliminare manualmente le risorse Vertex AI, consulta Annullare il deployment dei modelli ed eliminare le risorse.

    Elimina servizio Cloud Run

    Elimina le risorse correlate a un servizio, inclusa tutta la revisione del servizio. L'eliminazione di un servizio non include elementi come le immagini container di Artifact Registry. Per saperne di più, consulta la sezione Gestione dei servizi nella documentazione di Cloud Run.

    1. Nella console Google Cloud , visualizza l'elenco dei servizi Cloud Run:

      Vai a Cloud Run

    2. Individua il servizio da eliminare e selezionalo.

    3. Fai clic su Elimina Elimina. In questo modo vengono eliminate tutte le revisioni del servizio.

    Elimina il progetto

    Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.

    Per eliminare il progetto:

    1. In the Google Cloud console, go to the Manage resources page.

      Go to Manage resources

    2. In the project list, select the project that you want to delete, and then click Delete.
    3. In the dialog, type the project ID, and then click Shut down to delete the project.

    Passaggi successivi

    Consulta una panoramica di Model Garden.