基盤モデルをチューニングすると、パフォーマンスを改善できます。基盤モデルは汎用的にトレーニングされているため、期待したタスクが実行されないことがあります。これは、モデルに実行させたいタスクが特殊で、プロンプトの設計のみではモデルに学習させるのが難しいためです。このような場合は、モデルをチューニングして、特定のタスクに対するモデルのパフォーマンスを改善します。モデルのチューニングにより、指示が不十分な場合でも特定の出力要件をモデルが遵守するように設定できます。このページでは、モデルのチューニングの概要、Vertex AI で利用可能なチューニング オプションについて説明します。また、これらのオプションを使用するタイミングについても説明します。
モデルのチューニングの概要
モデルのチューニングは、独自のタスクの例を多数含むトレーニング データセットをモデルに提供することで行うことができます。固有のニッチなタスクでは、少数の例でモデルをチューニングすることで、モデルのパフォーマンスを大幅に改善できます。モデルをチューニングすると、プロンプトに必要な例が少なくなります。
Vertex AI では、基盤モデルのチューニングに対して次の方法がサポートされています。
教師ありのチューニング - テキストモデルの教師ありのチューニングは、モデルの出力が複雑ではなく、比較的定義が簡単な場合に適しています。分類、感情分析、エンティティ抽出、複雑でないコンテンツの要約、ドメイン固有のクエリの作成には、教師ありのチューニングが推奨されます。コードモデルの場合は、教師ありのチューニングが唯一の選択肢です。
人間からのフィードバックを用いた強化学習（RLHF）のチューニング - RLHF チューニングは、モデルの出力が複雑で、教師ありのチューニングでは容易に解決できない場合に適しています。RLHF チューニングは、質問応答、複雑なコンテンツの要約、リライトなどのコンテンツ作成におすすめです。コードモデルでは RLHF チューニングはサポートされていません。
モデル抽出 - 抽出は、大規模なモデルがあり、必要な処理能力を低下させることなくモデルを小さくする場合に適しています。モデルを抽出するプロセスでは、元のモデルよりも低コストで、低レイテンシの新しいトレーニング済みモデルが作成されます。
割り当て
Google Cloud の各プロジェクトには、1 つのチューニング ジョブの実行に十分な割り当てが必要です。1 つのチューニング ジョブでは 8 個の GPU を使用します。プロジェクトに 1 つのチューニング ジョブの実行に十分な割り当てがない場合や、プロジェクトで複数のチューニング ジョブを同時に実行する場合は、追加の割り当てをリクエストする必要があります。
次の表は、チューニングを行うために指定したリージョン別に、リクエストする割り当てのタイプと量を示しています。
| リージョン | リソース割り当て | 同時実行ジョブあたりの量 |
|---|---|---|
|
|
8 |
|
96 | |
|
|
64 |
料金
基盤モデルをチューニングまたは抽出する場合は、チューニング パイプラインまたは抽出パイプラインを実行するための費用が発生します。チューニングまたは抽出された基盤モデルを Vertex AI エンドポイントにデプロイする場合、ホスティングは無料です。予測のサービングについては、チューニングされていない基盤モデル（チューニングの場合）または生徒モデル（抽出の場合）を使用して予測のサービングを行う場合と同じ費用が発生します。チューニングと抽出が可能な基盤モデルについては、基盤モデルをご覧ください。料金の詳細については、Vertex AI での生成 AI の料金をご覧ください。
次のステップ
- 教師ありチューニングについて学習する。
- RLHF チューニングについて学習する。
- モデル抽出について学習する。