大規模言語モデル（LLM）は、大量のテキストデータでトレーニングされたディープ ラーニング モデルです。LLM は、言語の翻訳、テキストの要約、画像内のオブジェクトやテキストの認識を行い、検索エンジンやレコメンデーション システムを補完できます。
Google の Gemini は、マルチモーダルのユースケース用に設計された生成 AI モデルのファミリーです。画像、動画、テキストなど複数のモダリティからの情報を処理できます。
その他の学習リソースについては、生成 AI の GitHub リポジトリをご覧ください。このコンテンツは、Google のデータ サイエンティスト、デベロッパー、デベロッパー アドボケイトが管理します。
使ってみる
作業を開始するために役立つノートブック、チュートリアル、その他の例を次に示します。Vertex AI には、Vertex AI SDK for Python を使用する Google Cloud コンソール チュートリアルと Jupyter ノートブックのチュートリアルが用意されています。Colab でノートブックのチュートリアルを開くことも、好きな環境にノートブックをダウンロードすることもできます。
Gemini を使ってみる
|
Gemini モデルは、Google AI によって開発された画期的なマルチモーダル言語モデルで、画像や動画などの多様なデータ形式から意味のある分析情報を抽出できます。このノートブックでは、マルチモーダル プロンプトを使用したさまざまなユースケースを紹介します。
Jupyter ノートブック: このチュートリアルは、Jupyter ノートブックとして実行できます。 |
Vertex AI の Vertex AI Studio を使ってみる
|
Google Cloud コンソールから Vertex AI Studio を使用できます。API や Vertex AI SDK for Python は必要ありません。 |
プロンプト設計のベスト プラクティス
|
プロンプトを設計し、モデルからの回答の品質を高める方法を学習します。このチュートリアルでは、プロンプト エンジニアリングの基本事項と、ベスト プラクティスについて説明します。
Jupyter ノートブック: このチュートリアルは、Jupyter ノートブックとして実行できます。 |
LangChain 🦜🔗
LangChain は、Gemini モデルなどの LLM を利用したアプリケーションを開発するためのフレームワークです。LangChain を使用して、ファイル、その他のアプリケーション、API データなどの外部データを LLM に取り込みます。
LangChain と Vertex AI との連携の詳細については、LangChain と Vertex AI の公式ドキュメントをご覧ください。
Gemini、ベクトル検索、LangChain を使用したマルチモーダル検索拡張生成（RAG）
|
検索拡張生成（RAG）は、LLM が外部データにアクセスできるようにするための一般的なパラダイムで、ハルシネーションを軽減するためのグラウンディング メカニズムとしても使用されています。 テキストと画像の両方を含む財務ドキュメントに対して Q＆A を行うマルチモーダル RAG の実行方法について学習します。
Jupyter ノートブック: このチュートリアルは、Jupyter ノートブックとして実行できます。 |
LangChain 🦜️🔗 と BigQuery ベクトル検索を使用した Q&A 生成の拡張
|
|
質問応答（QA）システムを実装して、ドキュメントなどの外部データソースによって LLM の知識を補強し、LLM のレスポンスを改善する方法について学習します。この例では、Vertex AI Gemini 1.0 Pro でテキスト、Text API 用エンベディング、BigQuery ベクトル検索、LangChain を使用します。
Jupyter ノートブック: このチュートリアルは、Jupyter ノートブックとして実行できます。 |
次のステップ
- 生成 AI の GitHub リポジトリでその他のリソースを調べる。
- チュートリアルの概要で、Vertex AI ノートブックの他のチュートリアルを参照する。