Vertex AI 生成 AI ノートブックのチュートリアル

このドキュメントでは、Vertex AI での生成 AI に関するノートブック チュートリアルを紹介します。これらは、生成 AI LLM の使用方法を説明するエンドツーエンドのチュートリアルです。

おすすめのチュートリアル

• Gemini を使用したマルチモーダル ユースケース

  Gemini を使用したマルチモーダルのさまざまなユースケースをご覧ください。
  Colab | GitHub

• Gemini Pro を使用する Cloud Run に Streamlit アプリをデプロイする

  Gemini Pro モデルと Streamlit を使用して、シンプルな chatbot アプリを Cloud Run にデプロイします。
  GitHub

• マルチモーダル検索拡張生成（RAG）

  マルチモーダル データに対して RAG を実行し、テキストと画像の両方を含む科学論文で Q&A を行います。

  Colab | GitHub

チュートリアルのリスト

フィルタ条件: Gemini BigQuery 一括質問応答 字幕 Chain-of-Thought チャット chatbot Chirp コード コードチャット コード補完 コード生成 Codey 契約 会話 データローダ データストア DataFrame デプロイ ドキュメント Document AI ドキュメントの QA ドキュメントの要約 エンベディング 評価 フィルタ 関数呼び出し 生成 アイディエーション 画像 Imagen インデックス処理 LangChain 言語 言語プロンプト 言語モデル メタデータ マルチモーダル オーケストレーション PaLM プロンプト Python SDK 質問応答 React 認知 小売 取得 検索拡張生成 検索 類似 音声 要約 テキスト テキスト分類 テキスト エンベディング テキスト抽出 テキスト生成 チューニング ベクトル検索 Vertex AI Search Visual Question Answering 可視化

Gemini マルチモーダル	Gemini スタートガイド（cUrl） REST/curl で Gemini API を使ってみます。Gemini API では Google の最新の大規模言語モデルにアクセスできます。	Colab で開く GitHub で表示
Gemini マルチモーダル	Gemini スタートガイド（Python SDK） Vertex AI SDK for Python で Gemini API を使ってみます。Gemini API では Google の最新の大規模言語モデルにアクセスできます。	Colab で開く GitHub で表示
Gemini マルチモーダル	Gemini を使用したマルチモーダル ユースケース Gemini モデルは、Google AI によって開発された画期的なマルチモーダル言語モデルであり、画像や動画などのさまざまな形式のデータから意味のある分析情報を抽出できます。このノートブックでは、マルチモーダル プロンプトを使用したさまざまなユースケースを紹介します。	Colab で開く GitHub で表示
Gemini マルチモーダル Streamlit	Gemini Pro を使用する Cloud Run に Streamlit アプリをデプロイする Streamlit を使用するシンプルな chatbot アプリを、Gemini Pro を使用する Cloud Run にデプロイするサンプルアプリ。	GitHub で表示
Gemini マルチモーダル、検索拡張生成	マルチモーダル RAG このノートブックでは、従来はテキストデータに対して実行される RAG を拡張して、マルチモーダル データに対して RAG を実行し、テキストと画像を含む科学論文で Q&A を行う方法を示します。	Colab で開く GitHub で表示
Gemini マルチモーダル	教育における Gemini の使用 教育分野で Gemini モデルを使用します。さまざまなプロンプトの例と、画像や動画などのさまざまなモダリティを扱います。	Colab で開く GitHub で表示
Gemini マルチモーダル	マルチモーダルの小売業向けレコメンデーションでの Gemini の使用 小売業界では、レコメンデーション機能が顧客の意思決定に影響を与え、売上を促進するうえで重要な役割を果たします。このノートブックでは、顧客が各自のリビングルームの画像に基づいて 4 枚の椅子画像の中から最適な椅子を選択できるように、マルチモダリティのメリットを活用して小売業向けのレコメンデーションを実行する方法を説明します。	Colab で開く GitHub で表示
Gemini マルチモーダル、関数呼び出し	Gemini を使用した関数呼び出しの概要 Gemini Pro モデルを使用すると、次のことができます。 テキスト プロンプトから、特定の場所の天気を取得するための関数呼び出しを生成する テキスト プロンプトから関数呼び出しを生成し、外部 API を呼び出して、住所をジオコーディングする 小売ユーザーをサポートするため、チャット プロンプトから関数呼び出しを生成する	Colab で開く GitHub で表示
チューニング	Vertex AI で基盤モデルをチューニングする 設定と統合のプロセス全体を説明します。環境の設定、基盤モデルの選択、Vertex AI を使用したチューニングについて説明します。	Colab で開く GitHub で表示
評価	Vertex AI LLM 評価サービス Vertex AI LLM 評価サービスを他の Vertex AI サービスと組み合わせて使用します。	GitHub で表示
LangChain	Langchain チェーンを実行する LangChain チェーンを実行し、チェーンの各ステップの状態の詳細を、必要に応じてデバッグ ブレークポイントとともに出力します。	Colab で開く GitHub で表示
テキスト	高度なプロンプト エンジニアリング トレーニング Chain-of-Thought と ReAct（推論と行動）を使用してプロンプトを設計し、ハルシネーションを減らします。	Colab で開く GitHub で表示
エンベディング	マルチモーダル検索とベクトル検索に Vertex AI エンベディングを使用する DiffusionDB データセットと Vertex AI Embeddings for Multimodal モデルを使用して、Text-to-image エンベディングを作成します。エンベディングはベクトル検索サービスにアップロードされます。ベクトル検索サービスは、大規模なコーパスから類似ベクトルを検出する、高スケールで低レイテンシのソリューションです。	Colab で開く GitHub で表示
エンベディング	エンベディングを使用したセマンティック検索 テキストから生成されたエンベディングを作成し、セマンティック検索を行います。エンベディングは、Google ScaNN: 効率的なベクトル類似度検索を使用して生成されます。	Colab で開く GitHub で表示
評価	Vertex AI LLM 評価とバッチ推論 Vertex AI を使用して大規模言語モデル（LLM）をエンドツーエンドで評価します。	Colab で開く GitHub で表示
評価	AutoSxS: サードパーティのモデルに対して Vertex AI Model Registry 内の LLM を評価する Vertex AI Automatic Side by Side（AutoSxS）を使用して、Vertex AI Model Registry の生成 AI モデルとサードパーティの言語モデルのパフォーマンスを比較評価します。	Colab で開く GitHub で表示
評価	AutoSxS: 人間の好みのデータセットに対して自動評価のアライメントを確認する Vertex AI Automatic Side by Side（AutoSxS）を使用して、自動評価が人間の評価者とどの程度一致しているかを判断します。	Colab で開く GitHub で表示
チューニング	Vertex AI LLM の人間からのフィードバックを用いた強化学習 Vertex AI RLHF を使用して大規模言語モデル（LLM）をチューニングします。このワークフローでは、トレーニング データセットを使用してベースモデルをファインチューニングすることで、モデルの精度を改善します。	Colab で開く GitHub で表示
エンベディング	テキスト エンベディング API 新しいテキスト エンベディング モデルを試してみます。	Colab で開く GitHub で表示
チューニング	Vertex AI PEFT モデルのチューニング PEFT 大規模言語モデル（LLM）をチューニングして予測を行います。このワークフローでは、トレーニング データセットを使用してベースモデルをファインチューニングすることで、モデルの精度を改善します。	Colab で開く GitHub で表示
テキスト	大規模言語モデルで Vertex AI SDK を使用する Vertex AI SDK を使用して Vertex AI で大規模言語モデルを実行します。生成 AI 言語モデルをテスト、調整、デプロイできます。コンテンツの要約、感情分析、チャット、テキスト エンベディング、プロンプトのチューニングの例を紹介します。	Colab で開く GitHub で表示
データストア インデックス処理、検索、会話	Vertex AI Search and Conversation データストア ステータス チェッカー Vertex AI Search and Conversation データストア ステータス チェッカーは、Cloud Discovery Engine API を使用してデータストアのインデックス登録済みドキュメントをチェックするノートブックです。このチェッカーにより、ユーザーは次の作業を実行できます。 指定したデータストア ID のインデックス登録ステータスを確認する。 指定されたデータストア ID のすべてのドキュメントを一覧表示する。 指定されたデータストア ID のすべてのインデックス登録済み URL を一覧表示する。 指定されたデータストア ID の特定の URL について、すべてのインデックス登録済み URL を検索する。	Colab で開く GitHub で開く
音声認識 Chirp	Google Cloud での Chirp のスタートガイド このノートブックでは、Google の最先端の音声認識技術を使用した音声文字変換サービスである Chirp の概要を説明します。音声対応アプリケーションを構築するためのシンプルで使いやすいインターフェースをデベロッパーに提供します。	Colab で開く GitHub で開く
フィルタ メタデータ 検索	フィルタとメタデータを使用した Vertex AI Search Vertex AI Search は、Google Cloud で検索アプリケーションを構築してデプロイできるフルマネージド サービスです。このノートブックでは、Vertex AI Search への検索リクエストでフィルタとメタデータを使用する方法を示します。	Colab で開く GitHub で開く
ドキュメント、質問応答、検索索拡張生成	検索拡張生成を使用したドキュメント Q&A このノートブックでは、検索拡張生成（RAG）を使用して Google ドキュメントの質問応答システムを構築する方法を示します。RAG を使用して特定の質問への回答テキストを生成する方法と、RAG を使用して質問応答システムのパフォーマンスを改善する方法について説明します。	Colab で開く GitHub で開く
契約、生成、取得、検索	検索拡張生成（オープンソースの Vector Store を使用）- 調達契約アナリスト - Palm2 および LangChain このノートブックでは、検索拡張生成を使用して契約テキストを生成する方法を示します。法務と財務に関するテキストの大規模なコーパスで事前にトレーニングされた Palm2 モデルと LangChain モデルを使用します。	Colab で開く GitHub で開く
質問応答、検索拡張生成、検索、LangChain	ドキュメントに関する質問応答 このノートブックでは、Vertex AI Search エンジンと LLM を組み合わせて、データに関する質問と応答を行う方法を示します。特に PDF や HTML ファイルなどの「非構造化」データのクエリを中心に説明します。このノートブックを実行するには、非構造化検索エンジンを作成し、PDF または HTML ドキュメントをこの検索エンジンに取り込む必要があります。	Colab で開く GitHub で開く
一括質問応答 Vertex AI Search 質問応答 検索	Vertex AI Search を使用した一括質問応答 このノートブックでは、Vertex AI Search データストアを使用して CSV に含まれる質問に回答する方法を示します。Colab または Vertex AI Workbench で実行できます。	Colab で開く GitHub で開く
言語、オーケストレーション、LangChain、PaLM	LangChain 🦜️🔗 + PaLM API スタートガイド このノートブックでは、言語モデル オーケストレーション フレームワークである LangChain の概要を説明します。LangChain と PaLM API を使用して、text-to-text 生成モデルを作成してデプロイする方法を示します。	Colab で開く GitHub で開く
BigQuery、データローダ、LangChain	LangChain 🦜️🔗 BigQuery データローダの使用法 このノートブックでは、LangChain BigQuery データローダを使用して BigQuery から LangChain モデルにデータを読み込む方法を示します。このノートブックでは、データローダの設定、モデルへのデータの読み込み、モデルのトレーニングの手順を、順を追って説明します。	Colab で開く GitHub で開く
コード、コード生成、検索拡張生成、Codey	Codey API で検索拡張生成（RAG）を使用する このノートブックでは、Codey API で検索拡張生成（RAG）を使用する方法を示します。RAG は、コード検索とコード生成を組み合わせた手法であり、より正確で有益なコード補完候補を生成します。	Colab で開く GitHub で開く
Codey コード生成 言語	Vertex AI Codey API スタートガイド - コード生成 このノートブックでは、コード生成のための Vertex AI Codey API の概要を説明します。コード生成モデルを作成してデプロイする方法や、API を使用してコードを生成する方法など、API の基本的な使い方を説明します。	Colab で開く GitHub で開く
Codey コード補完 コード生成	Vertex AI Codey API スタートガイド - コード補完 このノートブックでは、Vertex AI Codey API を使用して Python コードのコード補完候補を取得する方法について説明します。また、API を使用してコード スニペットを生成し、リモート環境でコード スニペットを実行する方法についても説明します。	Colab で開く GitHub で開く
Codey コードチャット チャット コード生成 テキスト生成	Vertex AI Codey API スタートガイド - コードチャット このノートブックでは、Vertex AI Codey API の概要を示します。モデルを作成してデプロイする方法や、Codey CLI を使用して API を操作する方法など、API の基本的な使い方を説明します。	Colab で開く GitHub で開く
言語、PaLM、Python SDK	PaLM API と Python SDK のスタートガイド このノートブックでは、PaLM API と Python SDK の概要を説明します。モデルを作成してデプロイする方法や、API を使用してテキストの生成、言語の翻訳、さまざまなクリエイティブ コンテンツの作成を行う方法など、API の基本的な使い方を説明します。	Colab で開く GitHub で開く
言語プロンプト	プロンプト設計のベスト プラクティス このノートブックでは、テキストベースの言語モデルのプロンプト設計の概要を説明します。プロンプトの仕組みや作成方法など、プロンプトの基本について説明します。このノートブックでは、プロンプトを改善し、よくある問題を回避する方法に関するヒントも紹介します。	Colab で開く GitHub で開く
テキスト抽出	Vertex AI の生成モデルによるテキスト抽出 このノートブックでは、生成モデルを使用して画像からテキストを抽出する方法を示します。Vertex AI の generative-ai ライブラリの Text-to-image モデルと、Vertex AI のテキスト抽出ライブラリのテキスト抽出モデルを使用します。	Colab で開く GitHub で開く
テキスト分類	Vertex AI での生成モデルを使用したテキスト分類 このノートブックでは、生成モデルを使用して Vertex AI でテキスト分類を行う方法を示します。次のトピックを扱います。 * データの準備 * モデルのトレーニング * モデルのデプロイ * モデルを使用したテキスト分類	Colab で開く GitHub で開く
Chain-of-Thought、ReAct	Chain-of-Thought と ReAct このノートブックでは、Chain-of-Thought と ReAct について説明します。これは、強化学習アルゴリズムのパフォーマンスを改善するために使用できる 2 つのツールです。Chain-of-Thought は、値の反復処理の効率を改善するために使用できる手法です。ReAct は、actor-critic アルゴリズムの安定性を改善するために使用できる手法です。	Colab で開く GitHub で開く
言語 プロンプト アイディエーション	Vertex AI の生成モデルによるアイディエーション このノートブックでは、生成モデルを使用してテキスト、画像、コードを生成する方法を示します。また、Vertex AI を使用して生成モデルをデプロイして管理する方法も示します。	Colab で開く GitHub で開く
要約	Vertex AI の生成モデルによるテキスト要約 このノートブックでは、Vertex AI を使用してテキスト要約モデルをトレーニングし、デプロイする方法を示します。このノートブックでは BART モデルを使用します。BART モデルは、大規模なテキスト データセットで事前にトレーニングされた大規模言語モデルです。このモデルはテキスト要約のデータセットでファインチューニングされ、新しいテキストの要約の生成に使用できます。	Colab で開く GitHub で開く
質問応答	Vertex AI での生成モデルを使用した質問応答 このノートブックでは、生成モデルを使用してオープンドメインの質問に回答する方法を示します。Vertex AI Transformer モデルを使用し、与えられた質問に基づいてテキストを生成します。	Colab で開く GitHub で開く
テキスト生成、基盤モデル、チューニング、デプロイ	基盤モデルのチューニングとデプロイ このノートブックでは、Vertex AI を使用して基盤モデルをチューニングする方法を示します。また、チューニング済みモデルを Vertex AI エンドポイントにデプロイする方法も示します。	Colab で開く GitHub で開く
ドキュメント要約、要約	大規模なドキュメントのテキスト要約 このノートブックでは、t5 大規模モデルを使用して大規模なドキュメントを要約する方法を説明します。このモデルは、テキストとコードの膨大なデータセットでトレーニングされ、正確かつ簡潔な要約を生成できます。	Colab で開く GitHub で開く
ドキュメントの要約、LangChain、要約	LangChain 🦜🔗 を使用した大規模なドキュメントのテキスト要約 このノートブックでは、LangChain モデルを使用して大規模なドキュメントを要約する方法を示します。LangChain は、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブなコンテンツの執筆、質問へのわかりやすい回答が可能な大規模言語モデルです。	Colab で開く GitHub で開く
ドキュメント要約、Document AI、言語モデル、要約、テキスト要約	Document AI と PaLM API を使用した大規模なドキュメントの要約 このノートブックでは、Document AI と PaLM API を使用して大規模なドキュメントを要約する方法を説明します。また、Document AI API を使用して、ドキュメントからエンティティやキーフレーズを抽出する方法も説明します。	Colab で開く GitHub で開く
chatbot、テキスト生成	GroceryBot: 食料品とレシピのサンプル アシスタント - RAG + ReAct これは、RAG と ReAct を使用して食料品ショッピングとレシピを支援するサンプル bot に関するノートブックです。レシピを検索して、ショッピング リストを作成し、食品に関する質問に対する回答を得ることができます。	Colab で開く GitHub で開く
質問応答、ドキュメントの QA、LangChain	LangChain 🦜🔗 を使用した大規模なドキュメントに関する質問応答 このノートブックでは、LangChain モデルを使用して、長いドキュメントに関する質問に回答できる質問応答システムを構築する方法を説明します。このモデルは大規模なテキスト コーパスでトレーニングされており、あらゆるトピックに関する質問に回答するために使用できます。	Colab で開く GitHub で開く
質問応答 ドキュメントの QA LangChain ベクトル検索	LangChain 🦜🔗 と Vertex AI ベクトル検索を使用したドキュメントに関する質問応答 このノートブックでは、LangChain と Vertex AI ベクトル検索（以前の Matching Engine）を使用してドキュメントの質問応答システムを構築する方法を示します。このシステムは、ドキュメント内のエンティティ、日付、数値に関する質問に回答できます。	Colab で開く GitHub で開く
Document AI、質問応答、PaLM	Document AI、Pandas、PaLM を使用したドキュメントの質問応答 このノートブックでは、Document AI、Pandas、PaLM を使用して質問応答システムを構築する方法を説明します。まず Document AI を使用してドキュメントから構造化データを抽出し、次に Pandas を使用して抽出したデータからデータフレームを作成します。最後に PaLM を使用してデータに関する質問への回答を生成します。	Colab で開く GitHub で開く
質問応答、ドキュメントの QA	大規模なドキュメントに関する質問応答 このノートブックでは、Vertex AI 質問応答サービスを使用して、大規模なドキュメントからの質問に回答できる質問応答モデルを作成する方法を示します。このモデルは Wikipedia 記事のデータセットでトレーニングされ、さまざまなトピックに関する質問に回答できます。	Colab で開く GitHub で開く
画像生成	画像から商品説明を生成する生成ツール このノートブックでは、text-to-image モデルを使用して画像から商品説明を生成する方法を示します。このモデルは、商品画像とそれに対応する説明のデータセットでトレーニングされます。	Colab で開く GitHub で開く
生成、小売、LangChain	DescriptionGen: LangChain 🦜🔗 を使用して SEO 対策された小売業向け商品説明の生成 このノートブックでは、LangChain モデルを使用して、SEO 対策された小売業向けの商品説明を生成する方法を示します。このモデルは、商品属性のリストを入力として受け取り、商品の主な特徴を強調した簡単な説明を出力します。	Colab で開く GitHub で開く
BigQuery DataFrames、テキスト生成	BigQuery DataFrames ML: 医薬品名の生成 このノートブックでは、BigQuery DataFrames ML を使用して医薬品名を生成する方法を説明します。事前トレーニング済みの言語モデルを使用してテキストを生成し、結果をフィルタリングして、すでに使用されている医薬品名を除外します。	Colab で開く GitHub で開く
BigQuery DataFrames、コード生成	BigQuery DataFrames と生成 AI を使用してコードを生成する このノートブックでは、BigQuery DataFrames と生成 AI を使用してコードを生成する方法を説明します。事前トレーニング済みの言語モデルを使用して、BigQuery テーブルを Pandas DataFrame に変換するコードを生成する方法を示します。	Colab で開く GitHub で開く
BigQuery 言語モデル	BigQuery のデータで Vertex AI LLM を使用する このノートブックでは、BigQuery のデータで Vertex AI LLM を使用する方法を示します。BigQuery からデータを読み込んで LLM モデルを作成し、そのモデルを使用してそのデータに基づいてテキストを生成する方法を示します。	Colab で開く GitHub で開く
エンベディング、類似度、可視化	t-SNE プロットを使用してテキスト ドキュメントのエンベディング類似度を可視化する このノートブックでは、t-SNE プロットを使用してテキスト ドキュメントのエンベディング類似度を可視化する方法を示します。[IMDB データセット](https://datasets.imdbws.com/) にある映画レビューのデータセットを使用します。	Colab で開く GitHub で開く
テキスト エンベディング ベクトル検索	テキスト エンベディング + Vertex AI ベクトル検索のスタートガイド このノートブックでは、テキスト エンベディングの概要と、Vertex AI ベクトル検索でテキスト エンベディングを使用する方法について説明します。テキスト エンベディングの基本、トレーニング方法、テキスト エンベディングを使用したベクトル検索の方法について説明します。	Colab で開く GitHub で開く
エンベディング ベクトル検索	Vertex AI ベクトル検索のクイックスタート このノートブックは、Vertex AI Vector Search の使い方のクイックスタートです。ベクトル インデックスの作成方法、インデックスへのデータのアップロード方法、ベクトル検索クエリの実行方法など、ベクトル検索の基本について説明します。	Colab で開く GitHub で開く
Imagen 画像 Visual-Question-Answering	Vertex AI の Imagen を使用した Visual Question Answering（VQA） このノートブックでは、Imagen を使用して、与えられた質問に回答する画像を生成する方法を示します。また、モデルを Vertex AI にデプロイし、そのモデルを使用してユーザーの質問に対する回答の画像を生成する方法についても説明します。	Colab で開く GitHub で開く
字幕 Imagen 画像	Vertex AI の Imagen を使用した画像キャプション このノートブックでは、画像生成用の大規模言語モデルである Imagen を使用して、画像の字幕を生成する方法を示します。また、モデルを Vertex AI にデプロイする方法も示します。	Colab で開く GitHub で開く

次のステップ

• ノートブック チュートリアルで LLM、Vertex AI、PaLM モデルについて学習する
• 生成 AI の GitHub リポジトリでその他のリソースを確認する
• チュートリアルの概要で、Vertex AI ノートブックの他のチュートリアルを確認する