Anleitungen und Beispiele für Imagen in Vertex AI Jupyter Notebook

Dieses Dokument enthält eine Liste von Anleitungen und Artikeln zu Imagen in Vertex AI Jupyter Notebook mit Codebeispielen.

Es gibt viele Umgebungen, in denen Sie Jupyter-Notebooks hosten können. Sie können:

  • Laden Sie sie von GitHub herunter und führen Sie sie auf Ihrem lokalen Computer aus.
  • Laden Sie sie von GitHub herunter und führen Sie sie auf einem Jupyter- oder JupyterLab-Server in Ihrem lokalen Netzwerk aus.

  • Führen Sie sie in der Cloud mit einem Dienst wie Colaboratory (Colab) oder Vertex AI Workbench aus.

Colab

Ein Jupyter Notebook in Colab auszuführen ist ein einfacher Einstieg.

Klicken Sie zum Öffnen einer Notebookanleitung in Colab auf den Link Colab in der Notebookliste. Colab erstellt eine VM-Instanz mit allen benötigten Abhängigkeiten, startet die Colab-Umgebung und lädt das Notebook.

Vertex AI Workbench

Sie können das Notebook auch mit von Nutzern verwalteten Notebooks ausführen. Wenn Sie eine vom Nutzer verwaltete Notebook-Instanz mit Vertex AI Workbench erstellen, haben Sie die volle Kontrolle über die Hosting-VM. Sie können die Konfiguration und die Umgebung der Host-VM angeben.

So öffnen Sie eine Notebookanleitung in einer Vertex AI Workbench-Instanz:

  1. Klicken Sie in der Notebookliste auf den Link Vertex AI Workbench. Der Link öffnet die Vertex AI Workbench-Konsole.
  2. Geben Sie im Bildschirm Auf Notebook bereitstellen einen Namen für die neue Vertex AI Workbench-Instanz ein und klicken Sie auf Erstellen.
  3. Klicken Sie im Dialogfeld Bereit zum Öffnen des Notebooks, das nach dem Start der Instanz angezeigt wird, auf Öffnen.
  4. Wählen Sie auf der Seite Bereitstellung auf Notebook-Server bestätigen die Option Bestätigen aus.
  5. Wählen Sie vor dem Ausführen des Notebooks Kernel > Kernel neu starten und alle Ausgaben löschen aus.

Liste der Notebooks

Features Beschreibung Öffnen in
Bildgenerierung (Imagen 2)
 Bildgenerierung mit Imagen in Vertex AI.
In diesem Notebook sehen Sie sich die Features zur Bildgenerierung von Imagen mit dem Vertex AI SDK für Python an. Weitere Informationen zum Feature Bildgenerierung von Imagen

Anleitungsschritte

  • Bilder mithilfe von Text-Prompts erstellen
  • Experimentieren Sie mit verschiedenen Parametern wie:
    • Anzahl der zu generierenden Bilder erhöhen
    • Korrigieren einer Quell-Nummer für Reproduzierbarkeit
    • Beeinflussen der Ausgabebilder mithilfe negativer Prompts.
 		Colab
GitHub
Vertex AI Workbench
Bildgenerierung (Imagen 2)

Textgenerierung (Gemini 1.0 Pro)

Ausgabetextformatierung (Gemini 1.0 Pro) 		Mit Imagen und Gemini 1.0 Pro qualitativ hochwertige visuelle Assets erstellen
In diesem Notebook erstellen Sie mit Imagen und Gemini 1.0 Pro hochwertige visuelle Assets für eine Restaurantkarte. Weitere Informationen zur Bildgenerierung und zu multimodalen Modellen

Anleitungsschritte

  • Generieren Sie einen Bild-Prompt mit Gemini 1.0 Pro.
  • Verwenden Sie Imagen, um mithilfe von Aufforderungen hochwertige Bilder zu erstellen.
  • Nutzen Sie eine kurze Pipeline, um detaillierte visuelle Assets zu erstellen.
 		Colab
GitHub
Vertex AI Workbench
Bildbearbeitung (Imagen 2) Erstellen Sie mithilfe der Imagen 2-Bearbeitung hochwertige visuelle Assets und verwenden Sie automatisch generierte Maskenbereiche.
In diesem Notebook lernen Sie die Bildbearbeitungsfeatures von Imagen mit dem Vertex AI SDK für Python kennen.

Anleitungsschritte

  • Bearbeiten Sie ein vollständiges hochgeladenes oder generiertes Bild mit einem Text-Prompt.
  • Definieren Sie bestimmte Objekte in einem Bild, das Sie bearbeiten möchten.
  • Bearbeiten Sie den Hintergrund eines Bildes.
  • Bearbeiten Sie den Vordergrund eines Bildes.
  • Entfernen Sie den Hintergrund oder den Vordergrund eines Bildes.
  • Experimentieren Sie mit verschiedenen Parametern wie:
    • Die Breite einer Maske für dünne Objekte reduzieren.
    • Beeinflussen des bearbeiteten Ausgabebildes durch einen negativen Prompt.
 		Colab
GitHub
Vertex AI Workbench
Bildbeschreibungen / Visuelle Untertitel (Imagen) Visuelle Untertitel mit Imagen in Vertex AI.
In diesem Notebook erfahren Sie, wie Sie mit dem Vertex AI SDK für Python visuelle Untertitel für ein Bild generieren. Weitere Informationen zur Bilduntertitelung von Imagen

Anleitungsschritte

  • Generieren Sie Bilduntertitel mit den visuellen Untertitelfunktionen von Imagen.
  • Experimentieren Sie mit verschiedenen Parametern wie:
    • Anzahl der zu generierenden Untertitel.
    • Sprache der generierten Untertitel.
    • Typ und Version des Modells, das zum Generieren der Untertitel verwendet wird.
 		Colab
GitHub
Vertex AI Workbench
VQA (Visual Question Answering) (Imagen) Visual Question Answering (VQA) mit Imagen in Vertex AI.
In diesem Notebook erfahren Sie, wie Sie mit dem Vertex AI SDK für Python Antworten auf Fragen zu einem Bild generieren. Weitere Informationen zum VQA (Visual Question Answering)-Feature von Imagen

Anleitungsschritte

  • Beantworten Sie Fragen zu Bildern mit der visuellen Fragenbeantwortung von Imagen.
  • Experimentieren Sie mit verschiedenen Parametern wie:
    • Anzahl der Antworten, die vom Modell bereitgestellt werden sollen.
 		Colab
GitHub
Vertex AI Workbench

Artikelliste mit Beispielen

Features Beschreibung Links
Bildbearbeitung (Imagen)
 Hintergrundänderung mit Imagen in Vertex AI: Eine detaillierte Anleitung.
In diesem Artikel wird gezeigt, wie Sie die maskenbasierte Bearbeitung mit dem Vertex AI SDK für Python durchführen. Zum Ändern des Hintergrunds sind folgende Schritte erforderlich:
  • Entfernen Sie den vorhandenen Hintergrund.
  • Erstellen Sie eine Maske und ein invertiertes Maskenbild.
  • Codieren Sie ein Bild in einen String
  • Erstellen Sie eine Anfragenutzlast.
Weitere Informationen zum Bildbearbeitungsfeature von Imagen 		Link zum Artikel
GitHub
Bildgenerierung (Imagen)

Textgenerierung (PaLM 2 für Text) 		Google Imagen (über Google Cloud Vertex AI Studio) als Modedesignassistent

In diesem Artikel erfahren Sie, wie Modedesigner mithilfe der generativen Modelle von Google für die Text- und Bildgenerierung mit generativer KI neue Ideen und Designs entwickeln können. In diesem Artikel erfahren Sie, wie Sie PaLM 2 für das text-bison-Modell von Text in der Google Cloud Console und mit dem Vertex AI SDK für Python verwenden. Anschließend erfahren Sie, wie Sie die generierten Prompts verwenden, um als Eingabe für die Bildgenerierung mit dem imagegeneration-Modell von Imagen zu dienen.

Weitere Informationen zu Imagens Feature der Bilderstellung und dem Feature Textgenerierung von PaLM 2 für Text.

Link zum Artikel.
Bildgenerierung (Imagen 2)

Bildbearbeitung (Imagen) 		Bildgenerierung mit Imagen und LangChain4j (Java)

In diesem Artikel erfahren Sie, wie Sie Bilder mit Imagen in LangChain4j generieren und bearbeiten.

Weitere Informationen zu den Bildgenerierungs- und Bildbearbeitungsfunktionen von Imagen

Link zum Artikel.