Generative KI – Übersicht

In diesem Dokument werden die von BigQuery ML unterstützten Features der generativen künstlichen Intelligenz (KI) beschrieben. Mit diesen Features können Sie KI-Aufgaben in BigQuery ML mithilfe von vortrainierten Foundation Models von Vertex AI ausführen. Zu den unterstützten Aufgaben gehören folgende:

• Generative KI
• Einbettung

Wenn Sie auf ein Vertex AI-Modell zugreifen, um eine dieser Funktionen auszuführen, erstellen Sie in BigQuery ML ein Remote-Modell, das den Endpunkt des Vertex AI-Modells darstellt. Nachdem Sie ein Remote-Modell für das Vertex AI-Modell erstellt haben, das Sie verwenden möchten, können Sie die Funktionalität dieses Modells nutzen. Dazu führen Sie eine BigQuery ML-Funktion für das Remote-Modell aus.

Mit diesem Ansatz können Sie die Funktionen dieser Vertex AI-Modelle verwenden, um BigQuery-Daten mit SQL zu analysieren.

Workflow

Sie können Remote-Modelle über Vertex AI-Modelle und Remote-Modelle über Cloud AI-Dienste zusammen mit BigQuery ML-Funktionen zum Ausführen komplexer Datenanalyse- und generativer KI-Aufgaben verwenden.

Das folgende Diagramm zeigt einige typische Workflows, in denen Sie diese Funktionen zusammen verwenden können:

Generative KI

Sie können Large Language Models (LLMs) verwenden, um Aufgaben wie Textzusammenfassung und -generierung durchzuführen. Sie können beispielsweise einen langen Bericht zusammenfassen oder die Stimmung im Kundenfeedback analysieren. Sie können Vision Language Models (VLMs) verwenden, um visuelle Inhalte wie Bilder und Videos für Aufgaben wie visuelle Untertitelung und visuelle Fragen und Antworten zu analysieren. Sie können multimodale Modelle verwenden, um dieselben Aufgaben wie LLMs und VLMs auszuführen. Außerdem können Sie zusätzliche Aufgaben wie Audiotranskription und Dokumentanalyse ausführen.

Für generative KI-Aufgaben können Sie einen Verweis auf ein vortrainiertes Vertex AI-Model erstellen. Dazu erstellen Sie ein Remote-Modell und geben den Modellnamen für den Wert ENDPOINT an. Die folgenden Vertex AI-Modelle werden unterstützt:

• gemini-1.5-flash (Vorschau)
• gemini-1.5-pro (Vorschau)
• gemini-1.0-pro
• gemini-1.0-pro-vision (Vorschau)
• text-bison
• text-bison-32k
• text-unicorn

Hinweis: Wenn Sie Feedback geben oder Support für die Modelle in der Vorschau anfordern möchten, senden Sie eine E-Mail an [e-mail].

Wenn Sie ein Remote-Modell erstellen, das auf eine Version eines Vertex AI-text-bison-Modells verweist, können Sie optional gleichzeitig die überwachte Abstimmung (Vorschau) konfigurieren.

Nachdem Sie das Modell erstellt haben, können Sie über die Funktion ML.GENERATE_TEXT mit diesem Modell interagieren.

• Bei Remote-Modellen, die auf gemini-1.0-pro-, text-bison-, text-bison-32k- oder text-unicorn-Modellen basieren, können Sie die ML.GENERATE_TEXT-Funktion mit einem Prompt verwenden, den Sie in einer Abfrage oder aus in einer Spalte in einer Standardtabelle angeben.
• Bei Remote-Modellen, die auf dem gemini-1.0-pro-vision-Modell basieren, können Sie die ML.GENERATE_TEXT-Funktion zum Analysieren von Bild- oder Videoinhalten aus einer Objekttabelle durch einen Prompt nutzen, den Sie als Funktionsargument angeben.
• Bei Remote-Modellen, die auf dem gemini-1.5-flash- oder gemini-1.5-pro-Modell basieren, können Sie die ML.GENERATE_TEXT-Funktion zum Analysieren von Text, Bildern, Audio, Video oder von PDF-Inhalten aus einer Objekttabelle mit einem Prompt nutzen, den Sie als Funktionsargument angeben. Alternativ können Sie Text aus einem Prompt generieren, den Sie in einer Abfrage oder einer Spalte in einer Standardtabelle angeben.

Sie können Fundierung und Sicherheitsattribute verwenden, wenn Sie Gemini-Modelle mit der Funktion ML.GENERATE_TEXT verwenden, wenn Sie eine Standardtabelle als Eingabe verwenden. Mit Fundierung kann das Gemini-Modell zusätzliche Informationen aus dem Internet verwenden, um spezifischere und sachlichere Antworten zu generieren. Mit Sicherheitsattributen kann das Gemini-Modell die zurückgegebenen Antworten anhand der von Ihnen angegebenen Attribute filtern.

Alle Inferenzen treten in Vertex AI auf. Die Ergebnisse werden in BigQuery gespeichert.

Weitere Informationen finden Sie unter Text mit der Funktion ML.GENERATE_TEXT generieren.

Einbettung

Mit der Einbettung können Sie semantisch ähnliche Elemente ermitteln. Mit der Texteinbettung können Sie beispielsweise feststellen, wie ähnlich zwei Textteile sind. Wenn die Textelemente semantisch ähnlich sind, befinden sich ihre entsprechenden Einbettungen im Einbettungsvektorbereich nahe beieinander.

Mit BigQuery ML-Modellen können Sie die folgenden Arten von Einbettungen erstellen:

• Zum Erstellen von Texteinbettungen können Sie einen Verweis auf eines der Vertex AI-Einbettungsmodelle text-embedding oder text-multilingual-embedding erstellen, indem Sie ein Remote-Modell erstellen und den LLM-Namen für den Wert ENDPOINT angeben.
• Für multimodale Einbettungen, die Text, Bilder und Videos in denselben semantischen Bereich einbetten können, können Sie einen Verweis auf das Vertex AI multimodalembedding LLM erstellen. Dazu legen Sie ein Remote-Modell an und geben den LLM-Namen für den Wert ENDPOINT an. Diese Feature befindet sich im Vorschaumodus.
• Zum Erstellen von Einbettungen für strukturierte Daten aus unabhängigen und identisch verteilten Zufallsvariablen (IID) können Sie eine Hauptkomponentenanalyse (PCA) oder ein Autoencoder-Modell verwenden. Dieses Feature befindet sich im Vorschaumodus.
• Sie können ein Matrixfaktorisierungsmodell verwenden, um Einbettungen für Nutzer- oder Artikeldaten zu erstellen. Diese Feature befindet sich im Vorschaumodus.

Nachdem Sie das Modell erstellt haben, können Sie mit der Funktion ML.GENERATE_EMBEDDING damit interagieren. Für alle Arten von unterstützten Modellen funktioniert ML.GENERATE_EMBEDDING mit Daten in Standardtabellen. Bei multimodalen Einbettungsmodellen funktioniert ML.GENERATE_EMBEDDING auch mit visuellen Inhalten in Objekttabellen. Bei Remote-Modellen erfolgt die gesamte Inferenz in Vertex AI. Bei anderen Modelltypen erfolgt die gesamte Inferenz in BigQuery. Die Ergebnisse werden in BigQuery gespeichert.

Weitere Informationen finden Sie unter Texteinbettungen und Bildeinbettungen mit der Funktion ML.GENERATE_EMBEDDING erstellen.

Für eine kleinere, schlanke Texteinbettung sollten Sie ein vortrainiertes TensorFlow-Modell verwenden, z. B. NNLM, SWIVEL oder BERT.

Informationen zur Auswahl des besten Modells für Ihren Einbettungsanwendungsfall finden Sie unter Texteinbettungsmodell wählen.

Nächste Schritte

• Weitere Informationen zum Ausführen von Inferenzen für Modelle von maschinellem Lernen finden Sie unter Modellinferenz – Übersicht.