このドキュメントでは、Vertex AI での生成 AI に関するノートブック チュートリアルを紹介します。これらは、生成 AI LLM の使用方法を説明するエンドツーエンドのチュートリアルです。
おすすめのチュートリアル
-
Gemini を使用したマルチモーダル ユースケース
Gemini を使用したマルチモーダルのさまざまなユースケースをご覧ください。
-
Vertex AI Gemini API と Python SDK を使用した関数呼び出し
Vertex AI Gemini API と Vertex AI SDK for Python を使用して、Gemini 1.0 Pro(
gemini-1.0-pro
)モデルで関数呼び出しを行います。 -
Vertex AI で Gemini による根拠付けを始める
生成テキストモデルを使用して、ドキュメントとデータに基づくコンテンツを生成します。
チュートリアルのリスト
Gemini マルチモーダル |
Gemini 1.5 Pro を使用して、音声ファイルの分析、動画の理解、PDF からの情報の抽出、複数種類のメディアの同時処理を行います。 |
|
Gemini マルチモーダル |
このノートブックでは、Gemini 1.5 Pro を使用してコードの生成、コードベースの要約、デバッグ、コードの改善、コードの評価を行う方法について説明します。 |
|
Gemini マルチモーダル |
REST/curl で Gemini API を使ってみます。Gemini API では Google の最新の大規模言語モデルにアクセスできます。 |
|
Gemini マルチモーダル |
Vertex AI SDK for Python で Gemini API を使ってみます。Gemini API では Google の最新の大規模言語モデルにアクセスできます。 |
|
Gemini マルチモーダル |
Gemini モデルは、Google AI によって開発された画期的なマルチモーダル言語モデルであり、画像や動画などのさまざまな形式のデータから意味のある分析情報を抽出できます。このノートブックでは、マルチモーダル プロンプトを使用したさまざまなユースケースを紹介します。 |
|
Gemini の評価 |
Vertex AI SDK for Python での Gen AI Evaluation Service のスタートガイド Gen AI Evaluation Service SDK を使用して、Vertex AI SDK for Python で評価タスクで Gemini モデルを評価します。 |
|
Gemini の評価 |
Gemini によるプロンプト エンジニアリング、評価、プロンプト テンプレート Gen AI Evaluation Service SDK を使用して、Vertex AI SDK for Python で Gemini モデルのプロンプト エンジニアリングと評価を行います。 |
|
Gemini の評価 |
Gen AI Evaluation Service SDK を使用して、特定の評価タスクでさまざまな生成モデルを比較して評価し、Vertex AI SDK for Python でタスクの評価結果を可視化して比較します。 |
|
Gemini の評価 |
Gen AI Evaluation Service SDK を使用して、Gemini の温度などのモデル生成構成を評価して選択し、Vertex AI SDK for Python でさまざまな生成設定の指標結果を比較します。 |
|
Gemini の評価 |
このノートブックでは、Gen AI Evaluation Service SDK を使用して、複数の評価指標で PaLM と Gemini の基盤モデルを評価し、モデル間の移行に関する意思決定をサポートする方法について説明します。これらの指標は可視化されるため、各モデルの長所と短所に関する分析情報を得ることができます。これにより、ユースケースの特定の要件に最も適したモデルを十分な情報に基づいて選択できます。 |
|
Gemini の評価 |
Gen AI Evaluation Service SDK のプレビュー版から GA 版への移行ガイド このチュートリアルでは、Gen AI Evaluation Service 用の Vertex AI Python SDK のプレビュー版から最新の GA 版に移行して、検索拡張生成(RAG)を評価し、2 つのモデルを並べて比較する方法について詳しく説明します。 |
|
Gemini の評価 |
Gen AI Evaluation Service SDK を使用して、Gemini の温度などのモデル生成構成を評価して選択し、Vertex AI SDK for Python でさまざまな生成設定の指標結果を比較します。 |
|
Gemini の評価 |
モデルベースの指標をカスタマイズして生成 AI モデルを評価する Gen AI Evaluation Service SDK を使用してモデルベースの指標をカスタマイズし、Vertex AI SDK for Python を使用して基準に基づいて生成 AI モデルを評価します。 |
|
Gemini の評価 |
カスタム指標を使用した Bring-Your-Own-Autorater で生成 AI モデルを評価する Gen AI Evaluation Service SDK を使用して、ローカルで定義したカスタム指標で生成 AI モデルを評価し、Vertex AI SDK for Python で独自の自動評価モデルを使用してモデルベースの指標評価を実行します。 |
|
Gemini の評価 |
独自の計算ベースのカスタム指標を使用して生成 AI モデルを評価する Gen AI Evaluation Service SDK を使用して、Vertex AI SDK for Python でローカルで定義された計算ベースのカスタム指標を使用して生成 AI モデルを評価します。 |
|
Gemini の評価 |
Gemini 1.0 Pro モデルの関数呼び出しの品質を評価する Gemini 1.0 Pro モデルで関数呼び出しを生成し、Gen AI Evaluation Service SDK を使用して、Vertex AI SDK for Python で Gemini 1.0 Pro モデルの関数呼び出しの品質を評価します。 |
|
Gemini の評価 |
Gen AI Evaluation Service SDK を使用して、質問応答の検索拡張生成(RAG)から生成された回答を評価する Gen AI Evaluation Service SDK を使用して、Vertex AI SDK for Python で質問応答(QA)タスクの検索拡張生成(RAG)生成回答を評価します。 |
|
Gemini マルチモーダル Streamlit |
Gemini Pro を使用する Cloud Run に Streamlit アプリをデプロイする Streamlit を使用するシンプルな chatbot アプリを、Gemini Pro を使用する Cloud Run にデプロイするサンプルアプリ。 |
|
Gemini マルチモーダル、検索拡張生成 |
このノートブックでは、従来はテキストデータに対して実行される RAG を拡張して、マルチモーダル データに対して RAG を実行し、テキストと画像を含む科学論文で Q&A を行う方法を示します。 |
|
Gemini マルチモーダル |
教育分野で Gemini モデルを使用します。さまざまなプロンプトの例と、画像や動画などのさまざまなモダリティを扱います。 |
|
Gemini マルチモーダル |
マルチモーダルの小売業向けレコメンデーションでの Gemini の使用 小売業界では、レコメンデーション機能が顧客の意思決定に影響を与え、売上を促進するうえで重要な役割を果たします。このノートブックでは、顧客が各自のリビングルームの画像に基づいて 4 枚の椅子画像の中から最適な椅子を選択できるように、マルチモダリティのメリットを活用して小売業向けのレコメンデーションを実行する方法を説明します。 |
|
Gemini マルチモーダル、関数呼び出し |
Gemini Pro モデルを使用すると、次のことができます。
|
|
チューニング |
設定と統合のプロセス全体を説明します。環境の設定、基盤モデルの選択、Vertex AI を使用したチューニングについて説明します。 |
|
評価 |
Vertex AI LLM 評価サービスを他の Vertex AI サービスと組み合わせて使用します。 |
|
LangChain |
LangChain チェーンを実行し、チェーンの各ステップの状態の詳細を、必要に応じてデバッグ ブレークポイントとともに出力します。 |
|
テキスト |
Chain-of-Thought と ReAct(推論と行動)を使用してプロンプトを設計し、ハルシネーションを減らします。 |
|
エンベディング |
マルチモーダル検索とベクトル検索に Vertex AI エンベディングを使用する DiffusionDB データセットと Vertex AI Embeddings for Multimodal モデルを使用して、Text-to-image エンベディングを作成します。エンベディングはベクトル検索サービスにアップロードされます。ベクトル検索サービスは、大規模なコーパスから類似ベクトルを検出する、高スケールで低レイテンシのソリューションです。 |
|
エンベディング |
テキストから生成されたエンベディングを作成し、セマンティック検索を行います。エンベディングは、Google ScaNN: 効率的なベクトル類似度検索を使用して生成されます。 |
|
評価 |
AutoSxS: サードパーティのモデルに対して Vertex AI Model Registry 内の LLM を評価する Vertex AI Automatic Side by Side(AutoSxS)を使用して、Vertex AI Model Registry の生成 AI モデルとサードパーティの言語モデルのパフォーマンスを比較評価します。 |
|
評価 |
AutoSxS: 人間の好みのデータセットに対して自動評価のアライメントを確認する Vertex AI Automatic Side by Side(AutoSxS)を使用して、自動評価が人間の評価者とどの程度一致しているかを判断します。 |
|
チューニング |
Vertex AI LLM の人間からのフィードバックを用いた強化学習 Vertex AI RLHF を使用して大規模言語モデル(LLM)をチューニングします。このワークフローでは、トレーニング データセットを使用してベースモデルをファインチューニングすることで、モデルの精度を改善します。 |
|
チューニング |
RLHF でチューニングされたモデルを使用した Vertex AI バッチ推論。 このチュートリアルでは、Vertex AI を使用して、RLHF でチューニングされた OSS 大規模言語モデル(LLM)でエンドツーエンドの推論を行う方法について説明します。 |
|
エンベディング |
新しいテキスト エンベディング モデルを試してみます。 |
|
チューニング |
PEFT 大規模言語モデル(LLM)をチューニングして予測を行います。このワークフローでは、トレーニング データセットを使用してベースモデルをファインチューニングすることで、モデルの精度を改善します。 |
|
テキスト |
Vertex AI SDK を使用して Vertex AI で大規模言語モデルを実行します。生成 AI 言語モデルをテスト、調整、デプロイできます。コンテンツの要約、感情分析、チャット、テキスト エンベディング、プロンプトのチューニングの例を紹介します。 |
|
データストア インデックス処理、検索、会話 |
Vertex AI Search and Conversation データストア ステータス チェッカー Vertex AI Search and Conversation データストア ステータス チェッカーは、Cloud Discovery Engine API を使用してデータストアのインデックス登録済みドキュメントをチェックするノートブックです。このチェッカーにより、ユーザーは次の作業を実行できます。
|
|
音声認識 Chirp |
Google Cloud での Chirp のスタートガイド このノートブックでは、Google の最先端の音声認識技術を使用した音声文字変換サービスである Chirp の概要を説明します。音声対応アプリケーションを構築するためのシンプルで使いやすいインターフェースをデベロッパーに提供します。 |
|
フィルタ メタデータ検索 |
フィルタとメタデータを使用した Vertex AI Search Vertex AI Search は、Google Cloud で検索アプリケーションを構築してデプロイできるフルマネージド サービスです。このノートブックでは、Vertex AI Search への検索リクエストでフィルタとメタデータを使用する方法を示します。 |
|
ドキュメント、質問応答、検索索拡張生成 |
このノートブックでは、検索拡張生成(RAG)を使用して Google ドキュメントの質問応答システムを構築する方法を示します。RAG を使用して特定の質問への回答テキストを生成する方法と、RAG を使用して質問応答システムのパフォーマンスを改善する方法について説明します。 |
|
契約、生成、取得、検索 |
検索拡張生成(オープンソースの Vector Store を使用)- 調達契約アナリスト - Palm2 および LangChain このノートブックでは、検索拡張生成を使用して契約テキストを生成する方法を示します。法務と財務に関するテキストの大規模なコーパスで事前にトレーニングされた Palm2 モデルと LangChain モデルを使用します。 |
|
質問応答、検索拡張生成、検索、LangChain |
このノートブックでは、Vertex AI Search エンジンと LLM を組み合わせて、データに関する質問と応答を行う方法を示します。特に PDF や HTML ファイルなどの「非構造化」データのクエリを中心に説明します。このノートブックを実行するには、非構造化検索エンジンを作成し、PDF または HTML ドキュメントをこの検索エンジンに取り込む必要があります。 |
|
一括質問応答 Vertex AI Search 質問応答検索 |
このノートブックでは、Vertex AI Search データストアを使用して CSV に含まれる質問に回答する方法を示します。Colab または Vertex AI Workbench で実行できます。 |
|
言語、オーケストレーション、LangChain、PaLM |
LangChain 🦜️🔗 + PaLM API スタートガイド このノートブックでは、言語モデル オーケストレーション フレームワークである LangChain の概要を説明します。LangChain と PaLM API を使用して、text-to-text 生成モデルを作成してデプロイする方法を示します。 |
|
BigQuery、データローダ、LangChain |
LangChain 🦜️🔗 BigQuery データローダの使用法 このノートブックでは、LangChain BigQuery データローダを使用して BigQuery から LangChain モデルにデータを読み込む方法を示します。このノートブックでは、データローダの設定、モデルへのデータの読み込み、モデルのトレーニングの手順を、順を追って説明します。 |
|
コード、コード生成、検索拡張生成、Codey |
このノートブックでは、Codey API で検索拡張生成(RAG)を使用する方法を示します。RAG は、コード検索とコード生成を組み合わせた手法であり、より正確で有益なコード補完候補を生成します。 |
|
Codey コード生成言語 |
Vertex AI Codey API スタートガイド - コード生成 このノートブックでは、コード生成のための Vertex AI Codey API の概要を説明します。コード生成モデルを作成してデプロイする方法や、API を使用してコードを生成する方法など、API の基本的な使い方を説明します。 |
|
Codey コード補完コード生成 |
Vertex AI Codey API スタートガイド - コード補完 このノートブックでは、Vertex AI Codey API を使用して Python コードのコード補完候補を取得する方法について説明します。また、API を使用してコード スニペットを生成し、リモート環境でコード スニペットを実行する方法についても説明します。 |
|
Codey コードチャット チャットコード生成テキスト生成 |
Vertex AI Codey API スタートガイド - コードチャット このノートブックでは、Vertex AI Codey API の概要を示します。モデルを作成してデプロイする方法や、Codey CLI を使用して API を操作する方法など、API の基本的な使い方を説明します。 |
|
言語、PaLM、Python SDK |
PaLM API と Python SDK のスタートガイド このノートブックでは、PaLM API と Python SDK の概要を説明します。モデルを作成してデプロイする方法や、API を使用してテキストの生成、言語の翻訳、さまざまなクリエイティブ コンテンツの作成を行う方法など、API の基本的な使い方を説明します。 |
|
言語プロンプト |
このノートブックでは、テキストベースの言語モデルのプロンプト設計の概要を説明します。プロンプトの仕組みや作成方法など、プロンプトの基本について説明します。このノートブックでは、プロンプトを改善し、よくある問題を回避する方法に関するヒントも紹介します。 |
|
テキスト抽出 |
このノートブックでは、生成モデルを使用して画像からテキストを抽出する方法を示します。Vertex AI の generative-ai ライブラリの Text-to-image モデルと、Vertex AI のテキスト抽出ライブラリのテキスト抽出モデルを使用します。 |
|
テキスト分類 |
このノートブックでは、生成モデルを使用して Vertex AI でテキスト分類を行う方法を示します。次のトピックを扱います。 * データの準備 * モデルのトレーニング * モデルのデプロイ * モデルを使用したテキスト分類 |
|
Chain-of-Thought、ReAct |
このノートブックでは、Chain-of-Thought と ReAct について説明します。これは、強化学習アルゴリズムのパフォーマンスを改善するために使用できる 2 つのツールです。Chain-of-Thought は、値の反復処理の効率を改善するために使用できる手法です。ReAct は、actor-critic アルゴリズムの安定性を改善するために使用できる手法です。 |
|
言語プロンプト アイディエーション |
このノートブックでは、生成モデルを使用してテキスト、画像、コードを生成する方法を示します。また、Vertex AI を使用して生成モデルをデプロイして管理する方法も示します。 |
|
要約 |
このノートブックでは、Vertex AI を使用してテキスト要約モデルをトレーニングし、デプロイする方法を示します。このノートブックでは BART モデルを使用します。BART モデルは、大規模なテキスト データセットで事前にトレーニングされた大規模言語モデルです。このモデルはテキスト要約のデータセットでファインチューニングされ、新しいテキストの要約の生成に使用できます。 |
|
質問応答 |
このノートブックでは、生成モデルを使用してオープンドメインの質問に回答する方法を示します。Vertex AI Transformer モデルを使用し、与えられた質問に基づいてテキストを生成します。 |
|
テキスト生成、基盤モデル、チューニング、デプロイ |
このノートブックでは、Vertex AI を使用して基盤モデルをチューニングする方法を示します。また、チューニング済みモデルを Vertex AI エンドポイントにデプロイする方法も示します。 |
|
ドキュメント要約、要約 |
このノートブックでは、t5 大規模モデルを使用して大規模なドキュメントを要約する方法を説明します。このモデルは、テキストとコードの膨大なデータセットでトレーニングされ、正確かつ簡潔な要約を生成できます。 |
|
ドキュメントの要約、LangChain、要約 |
LangChain 🦜🔗 を使用した大規模なドキュメントのテキスト要約 このノートブックでは、LangChain モデルを使用して大規模なドキュメントを要約する方法を示します。LangChain は、テキストの生成、言語の翻訳、さまざまな種類のクリエイティブなコンテンツの執筆、質問へのわかりやすい回答が可能な大規模言語モデルです。 |
|
ドキュメント要約、Document AI、言語モデル、要約、テキスト要約 |
Document AI と PaLM API を使用した大規模なドキュメントの要約 このノートブックでは、Document AI と PaLM API を使用して大規模なドキュメントを要約する方法を説明します。また、Document AI API を使用して、ドキュメントからエンティティやキーフレーズを抽出する方法も説明します。 |
|
chatbot、テキスト生成 |
GroceryBot: 食料品とレシピのサンプル アシスタント - RAG + ReAct これは、RAG と ReAct を使用して食料品ショッピングとレシピを支援するサンプル bot に関するノートブックです。レシピを検索して、ショッピング リストを作成し、食品に関する質問に対する回答を得ることができます。 |
|
質問応答、ドキュメントの QA、LangChain |
LangChain 🦜🔗 を使用した大規模なドキュメントに関する質問応答 このノートブックでは、LangChain モデルを使用して、長いドキュメントに関する質問に回答できる質問応答システムを構築する方法を説明します。このモデルは大規模なテキスト コーパスでトレーニングされており、あらゆるトピックに関する質問に回答するために使用できます。 |
|
質問応答ドキュメントの QA LangChain ベクトル検索 |
LangChain 🦜🔗 と Vertex AI ベクトル検索を使用したドキュメントに関する質問応答 このノートブックでは、LangChain と Vertex AI ベクトル検索(以前の Matching Engine)を使用してドキュメントの質問応答システムをビルドする方法を示します。このシステムは、ドキュメント内のエンティティ、日付、数値に関する質問に回答できます。 |
|
Document AI、質問応答、PaLM |
Document AI、Pandas、PaLM を使用したドキュメントの質問応答 このノートブックでは、Document AI、Pandas、PaLM を使用して質問応答システムを構築する方法を説明します。まず Document AI を使用してドキュメントから構造化データを抽出し、次に Pandas を使用して抽出したデータからデータフレームを作成します。最後に PaLM を使用してデータに関する質問への回答を生成します。 |
|
質問応答、ドキュメントの QA |
このノートブックでは、Vertex AI 質問応答サービスを使用して、大規模なドキュメントからの質問に回答できる質問応答モデルを作成する方法を示します。このモデルは Wikipedia 記事のデータセットでトレーニングされ、さまざまなトピックに関する質問に回答できます。 |
|
画像生成 |
このノートブックでは、text-to-image モデルを使用して画像から商品説明を生成する方法を示します。このモデルは、商品画像とそれに対応する説明のデータセットでトレーニングされます。 |
|
生成、小売、LangChain |
DescriptionGen: LangChain 🦜🔗 を使用して SEO 対策された小売業向け商品説明の生成 このノートブックでは、LangChain モデルを使用して、SEO 対策された小売業向けの商品説明を生成する方法を示します。このモデルは、商品属性のリストを入力として受け取り、商品の主な特徴を強調した簡単な説明を出力します。 |
|
BigQuery DataFrames、テキスト生成 |
BigQuery DataFrames ML: 医薬品名の生成 このノートブックでは、BigQuery DataFrames ML を使用して医薬品名を生成する方法を説明します。事前トレーニング済みの言語モデルを使用してテキストを生成し、結果をフィルタリングして、すでに使用されている医薬品名を除外します。 |
|
BigQuery DataFrames、コード生成 |
BigQuery DataFrames と生成 AI を使用してコードを生成する このノートブックでは、BigQuery DataFrames と生成 AI を使用してコードを生成する方法を説明します。事前トレーニング済みの言語モデルを使用して、BigQuery テーブルを Pandas DataFrame に変換するコードを生成する方法を示します。 |
|
BigQuery 言語モデル |
BigQuery のデータで Vertex AI LLM を使用する このノートブックでは、BigQuery のデータで Vertex AI LLM を使用する方法を示します。BigQuery からデータを読み込んで LLM モデルを作成し、そのモデルを使用してそのデータに基づいてテキストを生成する方法を示します。 |
|
エンベディング、類似度、可視化 |
t-SNE プロットを使用してテキスト ドキュメントのエンベディング類似度を可視化する このノートブックでは、t-SNE プロットを使用してテキスト ドキュメントのエンベディング類似度を可視化する方法を示します。[IMDB データセット](https://datasets.imdbws.com/) にある映画レビューのデータセットを使用します。 |
|
テキスト エンベディング ベクトル検索 |
テキスト エンベディング + Vertex AI ベクトル検索のスタートガイド このノートブックでは、テキスト エンベディングの概要と、Vertex AI ベクトル検索でテキスト エンベディングを使用する方法について説明します。テキスト エンベディングの基本、トレーニング方法、テキスト エンベディングを使用したベクトル検索の方法について説明します。 |
|
エンベディング ベクトル検索 |
このノートブックは、Vertex AI Vector Search の使い方のクイックスタートです。ベクトル インデックスの作成方法、インデックスへのデータのアップロード方法、ベクトル検索クエリの実行方法など、ベクトル検索の基本について説明します。 |
|
Imagen 3 画像生成 |
Vertex AI で Imagen を使用して画像を生成する このノートブックでは、Vertex AI SDK for Python と Imagen 3 の標準モデルと低レイテンシ モデルを使用した、Imagen の画像生成機能について確認します。Imagen の画像生成機能の詳細をご覧ください。 |
|
Imagen 2 画像生成 |
Vertex AI で Imagen を使用して画像を生成する このノートブックでは、Vertex AI SDK for Python を使用した Imagen の画像生成機能について確認します。Imagen の画像生成機能の詳細をご覧ください。 |
|
Imagen 3 画像生成 |
Imagen 3 と Gemini 1.5 Pro を使用して高品質のビジュアル アセットを作成する このノートブックでは、Imagen 3 と Gemini 1.5 Pro を使用して、レストランのメニューの高品質なビジュアル アセットを作成します。画像生成とマルチモーダル モデルの詳細をご覧ください。 |
|
Imagen 2 画像編集 |
自動生成されたマスク領域を使用して Imagen 2 編集で高品質のビジュアル アセットを作成する このノートブックでは、Vertex AI SDK for Python を使用した Imagen の画像編集機能について確認します。 |
|
Imagen の画像の Visual Question Answering(VQA) |
Vertex AI の Imagen を使用した Visual Question Answering(VQA) このノートブックでは、Imagen を使用して、与えられた質問に回答する画像を生成する方法を示します。また、モデルを Vertex AI にデプロイし、そのモデルを使用してユーザーの質問に対する回答の画像を生成する方法についても説明します。 |
|
Imagen 画像キャプション |
Vertex AI の Imagen を使用した画像キャプション このノートブックでは、画像生成用の大規模言語モデルである Imagen を使用して、画像の字幕を生成する方法を示します。また、モデルを Vertex AI にデプロイする方法も示します。 |
次のステップ
- ノートブック チュートリアルで LLM、Vertex AI、PaLM モデルについて学習する
- 生成 AI の GitHub リポジトリでその他のリソースを調べる。
- チュートリアルの概要で、Vertex AI ノートブックの他のチュートリアルを参照する。