Tutorial ed esempi di blocco note per Vertex AI Jupyter di Imagen

Questo documento contiene un elenco di tutorial e articoli di Imagen su Vertex AI per i blocchi note Jupyter e articoli con esempi di codice.

Esistono molti ambienti in cui puoi ospitare blocchi note Jupyter. Puoi:

  • Scaricali da GitHub ed eseguili sulla tua macchina locale
  • Scaricali da GitHub ed eseguili su un server Jupyter o JupyterLab nella tua rete locale.

  • Eseguile nel cloud utilizzando un servizio come Colaboratory (Colab) o Vertex AI Workbench.

Colab

L'esecuzione di un blocco note Jupyter in Colab è un modo semplice per iniziare rapidamente.

Per aprire un tutorial sui blocchi note in Colab, fai clic sul link Colab nell'elenco dei blocchi note. Colab crea un'istanza VM con tutte le dipendenze necessarie, avvia l'ambiente Colab e carica il blocco note.

Vertex AI Workbench

Puoi anche eseguire il blocco note utilizzando quelli gestiti dall'utente. Quando crei un'istanza di blocchi note gestiti dall'utente con Vertex AI Workbench, hai il controllo completo sulla VM di hosting. Puoi specificare la configurazione e l'ambiente della VM di hosting.

Per aprire un tutorial sul blocco note in un'istanza di Vertex AI Workbench:

  1. Fai clic sul link Vertex AI Workbench nell'elenco di blocchi note. Il link apre la console di Vertex AI Workbench.
  2. Nella schermata Esegui il deployment nel blocco note, digita un nome per la nuova istanza di Vertex AI Workbench e fai clic su Crea.
  3. Nella finestra di dialogo Tutto pronto per l'apertura del blocco note visualizzata dopo l'avvio dell'istanza, fai clic su Apri.
  4. Nella pagina Conferma deployment nel server di blocchi note, seleziona Conferma.
  5. Prima di eseguire il blocco note, seleziona Kernel > Riavvia kernel e Cancella tutti gli output.

Elenco dei blocchi note

Funzionalità Descrizione Apri in
Generazione di immagini (Imagen 2)
 Generazione di immagini con Imagen su Vertex AI.
In questo blocco note, esplorerai le funzionalità di generazione delle immagini di Imagen utilizzando l'SDK Vertex AI per Python. Scopri di più sulla funzionalità di generazione di immagini di Imagen.

Passaggi del tutorial

  • Genera immagini utilizzando prompt di testo.
  • Prova diversi parametri, ad esempio:
    • Aumento del numero di immagini da generare.
    • Correzione di un numero di origine per la riproducibilità.
    • Influenzare le immagini di output utilizzando prompt negativi.
 		Colab
GitHub
Vertex AI Workbench
Generazione di immagini (Imagen 2)

Generazione di testo (Gemini 1.0 Pro)

Formattazione del testo di output (Gemini 1.0 Pro) 		Crea asset visivi di alta qualità con Imagen e Gemini 1.0 Pro.
In questo blocco note, crei asset visivi di alta qualità per il menu di un ristorante utilizzando Imagen e Gemini 1.0 Pro. Scopri di più sulla generazione di immagini e sui modelli multimodali.

Passaggi del tutorial

  • Genera un prompt di immagine con Gemini 1.0 Pro.
  • Utilizza Imagen per creare immagini di alta qualità utilizzando i prompt.
  • Implementa una breve pipeline per produrre asset visivi altamente dettagliati.
 		Colab
GitHub
Vertex AI Workbench
Modifica delle immagini (Imagen 2) Crea asset visivi di alta qualità con la modifica di Imagen 2 utilizzando aree mascherate generate automaticamente.
In questo blocco note esplorerai le funzionalità di modifica delle immagini di Imagen utilizzando l'SDK Vertex AI per Python.

Passaggi del tutorial

  • Modificare un'intera immagine caricata o generata con un prompt di testo.
  • Definisci oggetti specifici in un'immagine da modificare.
  • Modifica lo sfondo di un'immagine.
  • Modifica il primo piano di un'immagine.
  • Rimuovi lo sfondo o il primo piano di un'immagine.
  • Prova diversi parametri, ad esempio:
    • Riduzione della dilatazione di una maschera per oggetti sottili.
    • Influenzare l'immagine di output modificata utilizzando un prompt negativo.
 		Colab
GitHub
Vertex AI Workbench
Descrizioni delle immagini / sottotitoli visivi (immagini) Sottotitolaggio visivo con Imagen su Vertex AI.
In questo blocco note, imparerai a utilizzare l'SDK Vertex AI per Python per generare didascalie visive per un'immagine. Scopri di più sulla funzionalità di sottotitolaggio delle immagini di Imagen.

Passaggi del tutorial

  • Genera didascalie delle immagini utilizzando le funzionalità per le didascalie visive di Imagen.
  • Prova diversi parametri, ad esempio:
    • Numero di sottotitoli da generare.
    • Lingua dei sottotitoli codificati generati.
    • Tipo e versione del modello utilizzati per generare i sottotitoli codificati.
 		Colab
GitHub
Vertex AI Workbench
Question answering visivo (VQA) (Imagen) Risposta visiva alle domande (VQA) con Imagen su Vertex AI.
In questo blocco note imparerai a utilizzare l'SDK Vertex AI per Python per generare le risposte alle domande che poni su un'immagine. Scopri di più sulla funzionalità VQA (Immagini visive) di Imagen.

Passaggi del tutorial

  • Rispondi a domande sulle immagini utilizzando la funzionalità di risposta visiva alle domande di Imagen.
  • Prova diversi parametri, ad esempio:
    • Numero di risposte che il modello deve fornire.
 		Colab
GitHub
Vertex AI Workbench

Elenco di articoli con esempi

Funzionalità Descrizione Link
Modifica delle immagini (Imagen)
 Modifica dello sfondo con Imagen su Vertex AI: una guida passo passo.
Questo articolo mostra come eseguire la modifica basata su maschera utilizzando l'SDK Vertex AI per Python. La modifica dello sfondo prevede i seguenti passaggi:
  • Rimuovi lo sfondo esistente.
  • Crea una maschera e l'immagine della maschera invertita.
  • Codifica un'immagine in una stringa.
  • Creare un payload di richiesta.
Scopri di più sulla funzionalità di modifica delle immagini di Imagen. 		Link dell'articolo
GitHub
Generazione di immagini (Imagen)

Generazione di testi (PaLM 2 per il testo) 		Google Imagen (tramite Google Cloud Vertex AI Studio) come assistente per la moda.

In questo articolo, vedremo in che modo l'AI generativa può aiutare i designer di moda a generare nuove idee e design utilizzando la suite di modelli generativi di Google per la generazione di testi e immagini. Questo articolo mostra come utilizzare PaLM 2 per il modello text-bison di Text nella console Google Cloud e con l'SDK Vertex AI per Python. Poi mostra come utilizzare i prompt generati per fungere da input per la generazione di immagini utilizzando il modello imagegeneration di Imagen.

Scopri di più sulla funzionalità di generazione di immagini di Imagen e su PaLM 2 per la funzionalità di generazione del testo di Text.

Link all'articolo
Generazione di immagini (Imagen 2)

Modifica delle immagini (Imagen) 		Generazione di immagini con Imagen e LangChain4j (Java).

In questo articolo scopriremo come generare e modificare le immagini con Imagen in LangChain4j.

Scopri di più sulle funzionalità di generazione di immagini e modifica di immagini di Imagen.

Link all'articolo