Google Cloud コンソールの Model Garden は、Google の所有するモデルやアセットおよび厳選された OSS のモデルやアセットの検出、テスト、カスタマイズ、デプロイに役立つ ML モデル ライブラリです。
次のトピックでは、Model Garden で利用可能な AI モデルの概要と使用方法について説明します。
モデルを探す
使用可能な Vertex AI とオープンソースの基盤、チューニング可能なモデル、タスク固有のモデルのリストについては、Google Cloud コンソールの [Model Garden] ページをご覧ください。
Model Garden で利用可能なモデルのカテゴリは次のとおりです。
| カテゴリ | 説明 |
|---|---|
| 基盤モデル | Vertex AI Studio、Vertex AI API、Vertex AI SDK for Python を使用して、特定のタスクに合わせてチューニングまたはカスタマイズできる事前トレーニング済みのマルチタスクの大規模モデル。 |
| ファイン チューニング可能なモデル | カスタムのノートブックまたはパイプラインを使用してファイン チューニングできるモデルです。 |
| タスク固有のソリューション | これらの構築済みモデルのほとんどは直ちに使用を開始できます。多くモデルは、独自のデータを使用してカスタマイズできます。 |
[フィルタ] ペインでモデルをフィルタするには、次のように指定します。
- モデル: 必要なモデルのタイプをクリックします。
- タスク: モデルに実行させるタスクをクリックします。
- 特徴: モデルに必要な特徴をクリックします。
各モデルの詳細を確認するには、モデルカードをクリックします。
Model Garden で利用可能なモデル
Model Garden では、Google の自社モデルの検索や、オープンソース モデルの選択が可能です。
Google の自社モデルのリスト
次の表に、Model Garden で利用できる Google の自社モデルを示します。
| モデル名 | モダリティ | 説明 | クイックスタート |
|---|---|---|---|
| PaLM 2 for Text | 言語 | 自然言語による指示に対応できるよう微調整されていて、さまざまな言語タスクに適しています。 | モデルカード |
| チャット向けの PaLM 2 | 言語 | 自然な会話ができるようファインチューニングされています。このモデルは、独自の chatbot アプリケーションを構築してカスタマイズするために使用します。 | モデルカード |
| コード補完用 Codey | 言語 | コード プロンプトに基づいてコードを生成します。コードの提案やコードのバグを最小限に抑えるうえで有効です。 | モデルカード |
| コード生成用の Codey | 言語 | 自然言語の入力に基づいてコードを生成します。関数、クラス、単体テストなどの記述に適しています。 | モデルカード |
| コードチャット用の Codey | 言語 | 自然な会話を通じてコード関連のサポートを受けることができます。API やサポートされている言語の構文などに関する質問に適しています。 | モデルカード |
| テキスト用エンベディング | 言語 | テキストデータを ML アルゴリズム（特に大規模なモデル）で処理できる数値ベクトルに変換します。 | モデルカード |
| 画像生成用の Imagen | ビジョン | テキスト プロンプトを使用して、高品質な画像を大規模に作成、編集できます。 | モデルカード |
| キャプションと VQA 用の Imagen | 言語 | 指定された画像に関連する説明を生成します。 | モデルカード |
| マルチモーダルのエンベディング | ビジョン | 画像に基づいてベクトルを生成します。このベクトルは、画像分類や画像検索などのダウンストリーム タスクに使用できます。 | モデルカード |
| Sec-PaLM2 | 言語 | 脅威インテリジェンス、セキュリティ オペレーション、マルウェアの分析など、さまざまなセキュリティ固有のタスクに関して事前トレーニングされています。 | モデルカード |
| Chirp | Speech | 1 つのモデルで 20 億を超えるパラメータを持ち、100 を超える言語で音声文字変換が可能なユニバーサル音声モデルのバージョン。 | モデルカード |
Model Garden のオープンソース チューニングまたはサービス提供レシピを含むモデルのリスト
次の表に、Model Garden でオープンソースのチューニングまたはレシピの提供をサポートする OSS モデルを示します。
| モデル名 | モダリティ | 説明 | クイックスタート |
|---|---|---|---|
| Vicuna v1.5 | 言語 | LLama2 からテキスト生成のためにファインチューニングされた基盤モデルである Vicuna v1.5 シリーズモデルをデプロイします。 | モデルカード |
| NLLB | 言語 | 多言語翻訳用の NLLB シリーズモデルをデプロイします。 | モデルカード Colab |
| Mistral-7B | 言語 | テキスト生成の基盤モデルである Mistral-7B をデプロイします。 | モデルカード Colab |
| BioGPT | 言語 | 生物医学分野向けのテキスト生成モデル BioGPT をデプロイします。 | モデルカード Colab |
| BiomedCLIP | 言語、ビジョン | 生物医学分野向けのマルチモーダル基盤モデルである BiomedCLIP をデプロイします。 | モデルカード Colab |
| ImageBind | 言語、ビジョン、 音声 |
マルチモーダル エンベディングの基盤モデルである ImageBind をデプロイします。 | モデルカード Colab |
| DITO | 言語、ビジョン | DITO（オープンな語彙オブジェクト検出タスクのためのマルチモーダル基盤モデル）をファインチューニングしてデプロイします。 | モデルカード Colab |
| OWL-ViT v2 | 言語、ビジョン | OWL-ViT v2（オープン語彙オブジェクト検出タスク用のマルチモーダル基盤モデル）をデプロイします。 | モデルカード Colab |
| FaceStylizer（Mediapipe） | ビジョン | 人の顔の画像を新しいスタイルに変換する生成パイプライン。 | モデルカード Colab |
| Llama 2 | 言語 | Meta の Llama 2 基盤モデル（7B、13B、70B）をファインチューニングして Vertex AI にデプロイします。 | モデルカード |
| Code Llama | 言語 | Meta の Code Llama 基盤モデル（7B、13B、34B）を Vertex AI にデプロイします。 | モデルカード |
| Falcon-instruct | 言語 | PEFT を使用して Falcon-instruct のモデル（7B、40B）をファインチューニングしてデプロイします。 | Colab モデルカード |
| OpenLLaMA | 言語 | PEFT を使用して OpenLLaMA モデル（3B、7B、13B）をファインチューニングしてデプロイします。 | Colab モデルカード |
| T5-FLAN | 言語 | T5-FLAN（ベース、小、大）をファインチューニングしてデプロイする。 | モデルカード（ファインチューニング パイプラインを含む） |
| BERT | 言語 | PEFT を使用して BERT をファインチューニングしてデプロイします。 | Colab モデルカード |
| BART-large-cnn | 言語 | 双方向（BERT-like）のエンコーダと自己回帰（GPT-like）デコーダを備えた Transformer Encoder-Encoder（seq2seq）モデルである BART をデプロイします。 | Colab モデルカード |
| RoBERTa-large | 言語 | PEFT を使用して RoBERTa-large をファインチューニングしてデプロイします。 | Colab モデルカード |
| XLM-RoBERTa-large | 言語 | PEFT を使用して XLM-RoBERTa-large（RoBERTa の多言語バージョン）をファインチューニングしてデプロイします。 | Colab モデルカード |
| Dolly-v2-7b | 言語 | Dolly-v2-7b（69 億個のパラメータを備えた指示実行型大規模言語モデル）をデプロイします。 | Colab モデルカード |
| Stable Diffusion XL v1.0 | 言語、ビジョン | テキストからの画像の生成をサポートする Stable Diffusion XL v1.0 をデプロイします。 | Colab モデルカード |
| Stable Diffusion v2.1 | 言語、ビジョン | Dreambooth を使用して Stable Diffusion v2.1（テキストから画像の生成をサポート）のファインチューニングとデプロイを行います。 | Colab モデルカード |
| Stable Diffusion 4x アップスケーラー | 言語、ビジョン | Stable Diffusion 4x アップスケーラー（テキスト条件の画像スーパー解像度をサポート）をデプロイします。 | Colab モデルカード |
| InstructPix2Pix | 言語、ビジョン | InstructPix2Pix（テキスト プロンプトを使用した画像の編集をサポート）をデプロイします。 | Colab モデルカード |
| Stable Diffusion Inpainting | 言語、ビジョン | Stable Diffusion Inpainting（テキスト プロンプトを使用してマスクされた画像の描画をサポート）をファインチューニングしてデプロイします。 | Colab モデルカード |
| SAM | 言語、ビジョン | Segment Anything（ゼロショット画像セグメンテーションをサポート）をデプロイします。 | Colab モデルカード |
| Text-to-video（ModelScope） | 言語、ビジョン | ModelScope の text-to-video（テキストから動画の生成をサポート）をデプロイします。 | Colab モデルカード |
| Text-to-Video ゼロショット | 言語、ビジョン | Stable Diffusion の text-to-video 生成ツール（ゼロショットのテキストから動画の生成をサポート）をデプロイします。 | Colab モデルカード |
| Pic2Word Composed Image Retrieval | 言語、ビジョン | Pic2Word（マルチモーダルな合成画像の取得をサポート）をデプロイします。 | Colab モデルカード |
| BLIP2 | 言語、ビジョン | BLIP2（画像のキャプションと視覚的な質問応答をサポート）をデプロイします。 | Colab モデルカード |
| Open-CLIP | 言語、ビジョン | Open-CLIP（ゼロショット分類をサポート）をファインチューニングしてデプロイします。 | Colab モデルカード |
| F-VLM | 言語、ビジョン | F-VLM（オープン語彙画像オブジェクト検出をサポート）をデプロイします。 | Colab モデルカード |
| tfhub/EfficientNetV2 | ビジョン | EfficientNetV2 画像分類モデルの TensorFlow Vision 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| EfficientNetV2（TIMM） | ビジョン | EfficientNetV2 画像分類モデルの PyTorch 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| Proprietary/EfficientNetV2 | ビジョン | EfficientNetV2 画像分類モデルの Google 独自のチェックポイントをファインチューニングしてデプロイします。 | Colab モデルカード |
| EfficientNetLite（MediaPipe） | ビジョン | MediaPipe モデルメーカーを使用して EfficientNetLite 画像分類モデルをファインチューニングします。 | Colab モデルカード |
| tfvision/vit | ビジョン | ViT 画像分類モデルの TensorFlow Vision 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| ViT（TIMM） | ビジョン | ViT 画像分類モデルの PyTorch 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| Proprietary/ViT | ビジョン | ViT 画像分類モデルの Google 独自のチェックポイントをファインチューニングしてデプロイします。 | Colab モデルカード |
| Proprietary/MaxViT | ビジョン | MaxViT ハイブリッド（CNN + ViT）画像分類モデルの Google 独自のチェックポイントをファインチューニングしてデプロイします。 | Colab モデルカード |
| ViT（JAX） | ビジョン | ViT 画像分類モデルの JAX 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| tfvision/SpineNet | ビジョン | SpineNet オブジェクト検出モデルの Tensorflow Vision 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| Proprietary/Spinenet | ビジョン | Spinenet オブジェクト検出モデルの Google 独自のチェックポイントをファインチューニングしてデプロイします。 | Colab モデルカード |
| tfvision/YOLO | ビジョン | YOLO の 1 ステージ オブジェクト検出モデルの TensorFlow Vision 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| Proprietary/YOLO | ビジョン | YOLO の 1 ステージ オブジェクト検出モデルの Google 独自のチェックポイントをファインチューニングしてデプロイします。 | Colab モデルカード |
| YOLOv8（Keras） | ビジョン | オブジェクト検出用の YOLOv8 モデルの Keras 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| tfvision/YOLOv7 | ビジョン | オブジェクト検出用の YOLOv7 モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| ByteTrack Video Object Tracking | ビジョン | ByteTrack トラッカーを使用して、動画オブジェクト トラッキングのバッチ予測を実行します。 | Colab モデルカード |
| ResNeSt（TIMM） | ビジョン | ResNeSt 画像分類モデルの PyTorch 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| ConvNeXt（TIMM） | ビジョン | ConvNeXt（Vision Transformers の設計にヒントを得た画像分類の純粋な畳み込みモデル）のファインチューニングとデプロイを行います。 | Colab モデルカード |
| CspNet（TIMM） | ビジョン | CSPNet（クロスステージ部分ネットワーク）画像分類モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| Inception（TIMM） | ビジョン | Inception 画像分類モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| DeepLabv3+（チェックポイントを使用） | ビジョン | セマンティック画像セグメンテーション用に DeepLab-v3 Plus モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| Faster R-CNN（Detectron2） | ビジョン | 画像オブジェクト検出の Faster R-CNN モデルの Detectron2 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| RetinaNet（Detectron2） | ビジョン | 画像オブジェクト検出用に RetinaNet モデルの Detectron2 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| Mask R-CNN（Detectron2） | ビジョン | 画像オブジェクト検出とセグメンテーションのための Mask R-CNN モデルの Detectron2 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| ControlNet | ビジョン | ControlNet のテキストからの画像の生成モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| MobileNet（TIMM） | ビジョン | MobileNet 画像分類モデルの PyTorch 実装をファインチューニングしてデプロイします。 | Colab モデルカード |
| MobileNetV2（MediaPipe）Image Classification | ビジョン | MediaPipe モデルメーカーを使用して MobileNetV2 画像分類モデルをファインチューニングします。 | Colab モデルカード |
| MobileNetV2（MediaPipe）Object Detection | ビジョン | MediaPipe モデルメーカーを使用して MobileNetV2 オブジェクト検出モデルをファインチューニングします。 | Colab モデルカード |
| MobileNet-MultiHW-AVG（MediaPipe） | ビジョン | MediaPipe モデルメーカーを使用して MobileNet-MultiHW-AVG オブジェクト検出モデルをファインチューニングします。 | Colab モデルカード |
| DeiT | ビジョン | 画像分類用の DeiT（Data-efficient Image Transformers）モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| BEiT | ビジョン | 画像分類用の BEiT（Bidirectional Encoder representation from Image Transformers）モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| Hand Gesture Recognition（MediaPipe） | ビジョン | MediaPipe を使用して、デバイス上で Hand Gesture Recognition モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| Average Word Embedding Classifier（MediaPipe） | ビジョン | MediaPipe を使用して Average Word Embedding Classifier モデルをデバイス上でファインチューニングしてデプロイします。 | Colab モデルカード |
| MobileBERT Classifier（MediaPipe） | ビジョン | MediaPipe を使用して、デバイス上で MobileBERT Classifier モデルをファインチューニングし、デプロイします。 | Colab モデルカード |
| MoViNet Video Clip Classification | 動画 | MoViNet の動画クリップ分類モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
| MoViNet Video Action Recognition | 動画 | 動作認識推論用の MoViNet モデルをファインチューニングしてデプロイします。 | Colab モデルカード |
モデルカードの使用方法
モデルカードをクリックして、関連付けられているモデルを使用します。たとえば、モデルカードをクリックして、プロンプトのテスト、モデルのチューニング、アプリケーションの作成、コードサンプルの表示を行うことができます。
モデルカードに関連付けられたモデルの使用方法を確認するには、次のいずれかのタブをクリックします。
プロンプトのテスト
Vertex AI PaLM API モデルカードを使用してプロンプトをテストします。
Google Cloud コンソールの [Model Garden] ページに移動します。
テスト対象とするサポートされているモデルを見つけて、[詳細を表示] をクリックします。
[プロンプト設計を開く] をクリックします。
[プロンプト設計] ページが表示されます。
[プロンプト] に、テストするプロンプトを入力します。
省略可: モデル パラメータを構成します。
[送信] をクリックします。
モデルをチューニングする
サポートされているモデルをチューニングするには、Vertex AI Pipelines またはノートブックを使用します。
パイプラインを使用してチューニングする
BERT モデルと T5-FLAN モデルは、パイプラインを使用したモデルのチューニングをサポートしています。
Google Cloud コンソールの [Model Garden] ページに移動します。
[モデルを検索] で [BERT] または [T5-FLAN]* と入力し、虫メガネをクリックして検索します。
[T5-FLAN] または [BERT] モデルカードで [詳細を表示] をクリックします。
[ファインチューニング パイプラインを開く] をクリックします。
[Vertex AI Pipelines] ページが表示されます。
チューニングを開始するには、[実行を作成] をクリックします。
ノートブックでチューニングする
ほとんどのオープンソース基盤モデルとファインチューニング可能なモデルのモデルカードは、ノートブックでのチューニングをサポートしています。
Google Cloud コンソールの [Model Garden] ページに移動します。
チューニングするサポートされているモデルを見つけて、[詳細を表示] をクリックします。
[ノートブックを開く] をクリックします。
モデルのデプロイ
Stable Diffusion モデルのモデルカードは、エンドポイントへのデプロイをサポートしています。
Google Cloud コンソールの [Model Garden] ページに移動します。
デプロイするサポートされているモデルを見つけます。モデルカードで、[詳細を表示] をクリックします。
[Deploy] をクリックします。
モデルのコピーを Model Registry に保存するよう求められます。
[モデル名] にモデルの名前を入力します。
[保存] をクリックします。
[エンドポイントへのデプロイ] ペインが表示されます。
エンドポイントを次のように定義します。
- エンドポイント名: エンドポイントの名前を入力します。
- リージョン: エンドポイントを作成するリージョンを選択します。
- アクセス: REST API を介してエンドポイントにアクセスできるようにするには、[ 標準] を選択します。エンドポイントへのプライベート接続を作成するには、[ プライベート] を選択します。
[続行] をクリックします。
Google Cloud コンソールの指示に従って、モデル設定を構成します。
[続行] をクリックします。
省略可: [このエンドポイントのモデルのモニタリングを有効にする] 切り替えボタンをクリックして、モデルのモニタリングを有効にします。
[Deploy] をクリックします。
コードサンプルを表示する
タスク固有のソリューション モデルのほとんどのモデルカードには、コピーしてテストできるコードサンプルが含まれています。
Google Cloud コンソールの [Model Garden] ページに移動します。
コードサンプルを表示するサポート対象モデルを見つけて、[ドキュメント] タブをクリックします。
ページがスクロールすると、サンプルコードが埋め込まれたドキュメント セクションが表示されます。
ビジョンアプリを作成する
該当するコンピュータ ビジョン モデルのモデルカードは、ビジョン アプリケーションの作成をサポートします。
Google Cloud コンソールの [Model Garden] ページに移動します。
[タスク固有のソリューション] セクションで、ビジョン アプリケーションの作成に使用するビジョンモデルを探し、[詳細を表示] をクリックします。
[アプリを構築] をクリックします。
Vertex AI Vision が表示されます。
[アプリケーション名] にアプリケーションの名前を入力し、[続行] をクリックします。
お支払いプランを選択し、[作成] をクリックします。
Vertex AI Vision Studio が表示され、コンピュータ ビジョン アプリケーションの作成を続行できます。
料金
Model Garden のオープンソース モデルの場合、課金は Vertex AI での次の使用量に対して行われます。
- モデルのチューニング: 使用されたコンピューティング リソースに対して、カスタム トレーニングと同じレートで課金されます。カスタム トレーニングの料金をご覧ください。
- モデルのデプロイ: モデルをエンドポイントにデプロイするために使用されたコンピューティング リソースに対して課金されます。予測の料金をご覧ください。
- Colab Enterprise: Colab Enterprise の料金をご覧ください。
次のステップ
- 責任ある AI のベスト プラクティスと Vertex AI の安全フィルタについて学習する。
- Vertex AI での生成 AI について学習する
- 基盤モデルのチューニング方法を学習する。