モデルのチューニングは、Gemini が特定のタスクをより高い精度と正確さで実行するように適応させるための重要なプロセスです。モデルのチューニングは、特定のダウンストリーム タスクのサンプルセットが含まれるトレーニング データセットをモデルに提供することで行われます。
このページでは、Gemini のモデル チューニングの概要、Gemini で利用可能なチューニング オプションについて説明しますので、各チューニング オプションを使用するタイミングを判断する際に役に立ちます。
モデルをチューニングするメリット
モデルのチューニングは、大規模なモデルをタスクに合わせてカスタマイズする効果的な方法です。これは、モデルの品質と効率性を改善するための重要なステップです。モデルのチューニングには次の利点があります。
- 特定のタスクの品質が向上する。
- モデルの堅牢性が向上する。
- プロンプトが短くなるため、推論のレイテンシとコストが低減される。
チューニングとプロンプト設計の比較
チューニングには、次のような点でプロンプト設計よりもメリットがあります。
- モデルを詳細にカスタマイズでき、特定のタスクでパフォーマンスが向上します。
- 一貫性と信頼性の高い結果が得られます。
- 複数のサンプルを一度に処理できます
チューニングの方法
パラメータ効率チューニングと完全なファインチューニングは、大規模なモデルをカスタマイズするための 2 つのアプローチです。どちらの方法にも、モデルの品質とリソース効率の点でメリットと影響があります。
パラメータ効率チューニング
パラメータ効率チューニング（アダプタ チューニングとも呼ばれます）を使用すると、大規模なモデルを特定のタスクやドメインに効率的に適応させることができます。パラメータ効率チューニングでは、チューニング プロセス中にモデルのパラメータの比較的小さなサブセットを更新します。
Vertex AI がアダプタ チューニングとサービングをサポートする方法については、次のホワイトペーパー（大規模な基盤モデルの適応）をご覧ください。
フル ファインチューニング
フル ファインチューニングでは、モデルのすべてのパラメータが更新されるため、モデルを高度な複雑なタスクに適応させることができ、より高い品質を実現できる可能性があります。ただし、フル ファインチューニングを行うと、チューニングとサービングの両方でコンピューティング リソースが大量に必要になり、全体的なコストが高くなります。
フル ファインチューニングと比較したパラメータ効率チューニング
パラメータ効率チューニングは、フル ファインチューニングよりもリソース効率と費用対効果に優れています。トレーニングに必要な計算リソースが大幅に少なくなります。小規模なデータセットでモデルをより迅速に適応させることができます。パラメータ効率チューニングは柔軟であるため、大規模な再トレーニングを必要としないマルチタスク学習に適したソリューションが提供されます。
サポートされているチューニング方法
Vertex AI では、基盤モデルのチューニングに対して次の方法がサポートされています。
教師ありファインチューニング
教師ありファインチューニングでは、新しいスキルを教えることでモデルのパフォーマンスを改善します。ラベル付けされた何百ものサンプルを含むデータを使用して、目的の動作やタスクを模倣するようモデルに学習させます。ラベル付きの各例は、推論中にモデルに出力させる内容を示しています。
教師ありファインチューニング ジョブを実行すると、モデルは、目的のタスクの実行や目的の動作の学習に必要な情報をエンコードすることに役立つ追加のパラメータを学習します。これらのパラメータは推論の際に使用されます。チューニング ジョブの出力は、新しく学習したパラメータを元のモデルと組み合わせた新しいモデルです。
テキストモデルの教師ありファインチューニングは、モデルの出力が複雑ではなく、比較的定義が簡単な場合に適しています。分類、感情分析、エンティティ抽出、複雑でないコンテンツの要約、ドメイン固有のクエリの作成には、教師ありのファインチューニングが推奨されます。コードモデルの場合は、教師ありのチューニングが唯一の選択肢です。
教師ありファインチューニングをサポートするモデル
Gemini モデルと PaLM モデルはどちらも、教師ありファインチューニングをサポートしています。各モデルで教師ありファインチューニングを使用する方法の詳細については、次のページをご覧ください。
人間からのフィードバックを用いた強化学習（RLHF）によるチューニング
人間からのフィードバックを用いた強化学習（RLHF）では、人間が指定する好みを使用して言語モデルを最適化します。人間のフィードバックを使用してモデルをチューニングすることで、モデルを人間の好みに合わせてチューニングし、タスクに関して複雑な直感を持つシナリオで好ましくない結果を削減できます。たとえば、RLHF は、海に関する詩の書き方など、あいまいなタスクに対して有効です。人間に海に関する 2 つの詩を示し、その人に好みの詩を選ぶよう求めることができます。
RLHF チューニングは、モデルの出力が複雑で、教師ありのチューニングでは容易に解決できない場合に適しています。RLHF チューニングは、質問応答、複雑なコンテンツの要約、リライトなどのコンテンツ作成におすすめです。コードモデルでは RLHF チューニングはサポートされていません。
RLHF チューニングをサポートするモデル
PaLM モデルは RLHF チューニングをサポートしています。詳細については、RLHF チューニングで PaLM テキストモデルをチューニングするをご覧ください。
モデル抽出
モデル抽出は、大規模なモデルがあり、必要な処理能力を低下させることなくモデルを小さくする場合に適しています。モデルを抽出するプロセスでは、元のモデルよりも使用コストが低くレイテンシが低い、より小さな新しいトレーニング済みモデルが作成されます。
モデル抽出をサポートするモデル
PaLM モデルはモデル抽出をサポートしています。詳細については、PaLM 用の抽出されたテキストモデルを作成するをご覧ください。