Large Language Models (LLM) sind Deep-Learning-Modelle, die mit riesigen Textdaten trainiert wurden. LLMs können Sprache übersetzen, Texte zusammenfassen, Objekte und Text in Bildern erkennen und Suchmaschinen und Empfehlungssysteme ergänzen.
Google bietet die Gemini-Familie von generativen KI-Modellen an, die für multimodale Anwendungsfälle entwickelt wurden und Informationen aus verschiedenen Modalitäten verarbeiten können, darunter Bilder, Videos und Text.
Weitere Lernressourcen finden Sie im GitHub-Repository für generative KI. Diese Inhalte werden von Google-Datenwissenschaftlern, Entwicklern und Developer Advocates verwaltet.
Jetzt starten
Hier sind einige Notebooks, Anleitungen und andere Beispiele, die Ihnen den Einstieg erleichtern. Vertex AI bietet Anleitungen für die Google Cloud Console und Jupyter-Notebook-Anleitungen, die das Vertex AI SDK für Python verwenden. Sie können eine Notebook-Anleitung in Colab öffnen oder das Notebook in Ihre bevorzugte Umgebung herunterladen.
Erste Schritte mit Gemini
|
Das Gemini-Modell ist ein bahnbrechendes multimodales Sprachmodell, das von Google AI entwickelt wurde und Informationen aus einer Vielzahl von Datenformaten wie Bildern und Videos extrahieren kann. Dieses Notebook untersucht verschiedene Anwendungsfälle mit multimodalen Prompts.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Erste Schritte mit Vertex AI Studio
|
Vertex AI Studio über die Google Cloud Console verwenden, ohne die API oder das Vertex AI SDK für Python |
Best Practices für den Entwurf von Prompts
|
Sie erfahren, wie Sie Prompts entwerfen, mit denen Sie die Qualität Ihrer Antworten vom Modell verbessern. In dieser Anleitung werden die Grundlagen des Prompt Engineering beschrieben, einschließlich einiger Best Practices.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
LangChain 🦜️🔗
LangChain ist ein Framework für die Entwicklung von Anwendungen, die auf LLMs wie den Gemini-Modellen basieren. Mit LangChain können Sie externe Daten wie Ihre Dateien, andere Anwendungen und API-Daten in Ihre LLMs einbinden.
Weitere Informationen zu LangChain und zur Funktionsweise mit Vertex AI finden Sie in der offiziellen Dokumentation zu LangChain und Vertex AI.
Multimodale Retrieval Augmented Generation (RAG) mit Gemini, Vektorsuche und LangChain
|
Retrieval Augmented Generation (RAG) ist mittlerweile eine beliebte Methode, LLMs Zugriff auf externe Daten zu ermöglichen, sowie ein Mechanismus für deren Fundierung, um Halluzinationen zu minimieren. Hier erfahren Sie, wie Sie eine multimodale RAG ausführen, um Fragen zu einem Finanzdokument zu beantworten, das sowohl Text als auch Bilder enthält.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Generierung von Fragen und Antworten mithilfe von LangChain 🦜️🔗 und BigQuery-Vektorsuche ergänzen
|
|
Hier erfahren Sie, wie Sie ein Question Answering-System (QA) implementieren, um die Antwort eines LLM zu verbessern, indem Sie das Wissen des LLM mit externen Datenquellen wie Dokumenten ergänzen. In diesem Beispiel werden Vertex AI Gemini 1.0 Pro für Text, die Embeddings for Text API, die BigQuery Vector Search und LangChain verwendet.
Jupyter-Notebook: Sie können diese Anleitung als Jupyter-Notebook ausführen. |
Nächste Schritte
- Weitere Ressourcen finden Sie im GitHub-Repository für generative KI.
- Weitere Anleitungen zu Vertex AI-Notebooks finden Sie in der Übersicht über Anleitungen.