評価指標を定義する

評価データセットを作成したら、次に、モデルのパフォーマンスの測定に使用する指標を定義します。生成 AI モデルでは幅広いタスク向けのアプリケーションを作成できるため、Gen AI Evaluation Service は、主観的な評価を客観的で実用的な結果に変換するテスト駆動型フレームワークを使用します。

評価指標に関連する主なコンセプトは次のとおりです。

ルーブリック: LLM モデルまたはアプリケーションの回答の評価方法の基準。
指標: 評価ルーブリックと照らし合わせてモデル出力を測定するスコア。

Gen AI Evaluation Service には、次のカテゴリの指標が用意されています。

ルーブリックベースの指標: 評価ワークフローに LLM を組み込みます。
- 適応型ルーブリック（推奨）: 各プロンプトに対してルーブリックが動的に生成されます。プロンプト固有のきめ細かい説明可能な合否フィードバックで回答が評価されます。
- 静的ルーブリック: ルーブリックが明示的に定義され、すべてのプロンプトに同じルーブリックが適用されます。同じ数値スコアリングベースの評価ツールで回答が評価されます。プロンプトごとに 1 つの数値スコア（1～5 など）。特定のディメンションに関する評価が必要な場合、またはすべてのプロンプトでまったく同じルーブリックが必要な場合。
計算ベースの指標: 通常はグラウンドトゥルースを使用して、決定的アルゴリズムで回答を評価します。プロンプトごとの数値スコア（0.0～1.0 など）。グラウンドトゥルースが利用可能で、決定的手法で照合できる場合。
カスタム関数指標: Python 関数を使用して独自の指標を定義します。

ルーブリックベースの指標

ルーブリックベースの指標は、モデルの回答の品質を評価するワークフローに大規模言語モデルを組み込みます。ルーブリックベースの評価は、決定的アルゴリズムでは評価が難しいことが多い、文章の品質、安全性、指示の実行など、さまざまなタスクに適しています。

適応型ルーブリック

適応型ルーブリックは、モデルの単体テストのように機能します。データセット内の個々のプロンプトに対して、固有の合否判定テスト群が動的に生成されます。リクエストされたタスクに評価を関連付けて、客観的で説明可能かつ一貫性のある結果を提供することを目指します。

次の例は、一連のプロンプトに対して適応型ルーブリックが生成される仕組みを示しています。

プロンプト	適応型ルーブリック
「太陽光発電のメリットに関する次の記事を 100 語以内で要約してください…」	要約は 100 語以内か？太陽光発電のメリットが挙げられているか？記事に記載されていない情報が含まれていないか？
「従業員を会社の年次ピクニックに誘う、短く親しみやすいメールを作成してください。日にちは 9 月 15 日であること、ベジタリアン対応であることを伝えてください…」	メールのトーンは親しみやすく友好的か？ 9 月 15 日という日付が記載されているか？ベジタリアン対応であることが明記されているか？

適応型ルーブリックには SDK を通じてアクセスできます。最初は GENERAL_QUALITY をデフォルトとして使用することをおすすめします。

全般的な品質の指標

GENERAL_QUALITY は、指示の実行、書式、トーン、スタイルなど、さまざまなタスクをカバーする一連のルーブリックを入力プロンプトに応じて生成します。次のコード行で、ルーブリックの生成と検証を組み合わせることができます。

from vertexai import types

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.GENERAL_QUALITY,
    ],
)

モデルの回答の評価に使用する前にルーブリックを別途生成することもできます（ルーブリックを確認したり、複数のモデルとエージェントの間で再利用したりするため）。

from vertexai import types

# Use GENERAL_QUALITY recipe to generate rubrics, and store them
# as a rubric group named "general_quality_rubrics".
data_with_rubrics = client.evals.generate_rubrics(
    src=eval_dataset_df,
    rubric_group_name="general_quality_rubrics",
    predefined_spec_name=types.RubricMetric.GENERAL_QUALITY,
)

# Specify the group of rubrics to use for the evaluation.
eval_result = client.evals.evaluate(
    dataset=data_with_rubrics,
    metrics=[types.RubricMetric.GENERAL_QUALITY(
      rubric_group_name="general_quality_rubrics",
    )],
)

GENERAL_QUALITY で自然言語の guidelines を使用して、最も重要な基準に焦点を当ててルーブリックを生成させることもできます。この場合、デフォルトのタスクと指定したガイドラインの両方をカバーするルーブリックが生成されます。

from vertexai import types

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.GENERAL_QUALITY(
            metric_spec_parameters={
                "guidelines": "The response must maintain a professional tone and must not provide financial advice."
            }
        )
    ],
)

的を絞った品質の指標

モデルの品質を評価する際に特定の側面に的を絞る必要がある場合は、特定の領域に焦点を当ててルーブリックを生成する指標を使用できます。次に例を示します。

from vertexai import types

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.TEXT_QUALITY,
        types.RubricMetric.INSTRUCTION_FOLLOWING,
    ],
)

Gen AI Evaluation Service には、次のタイプの適応型ルーブリックが用意されています。

INSTRUCTION_FOLLOWING: 回答がプロンプトの特定の制約と指示にどの程度準拠しているかを測定します。
TEXT_QUALITY: 回答の言語品質に特に重点を置き、流暢さ、一貫性、文法を評価します。

マルチターンの会話

multi_turn_general_quality: マルチターンの会話で会話全体の品質を評価します。
multi_turn_text_quality: マルチターンの会話で回答のテキスト品質を評価します。

エージェントの評価

final_response_reference_free: エージェントの最終的な回答の品質を参照回答なしで評価します。

的を絞った適応型ルーブリックの詳細については、適応型ルーブリックの詳細をご覧ください。

静的ルーブリック

静的ルーブリックでは、データセット内のすべての例に単一の固定されたスコアリングガイドラインが適用されます。このスコア駆動型のアプローチは、すべてのプロンプトのパフォーマンスを一貫したベンチマークで測定する必要がある場合に便利です。

たとえば、次の静的ルーブリックはテキストの品質を 5 段階で評価します。

5: (Very good). Exceptionally clear, coherent, fluent, and concise. Fully adheres to instructions and stays grounded.
4: (Good). Well-written, coherent, and fluent. Mostly adheres to instructions and stays grounded. Minor room for improvement.
3: (Ok). Adequate writing with decent coherence and fluency. Partially fulfills instructions and may contain minor ungrounded information. Could be more concise.
2: (Bad). Poorly written, lacking coherence and fluency. Struggles to adhere to instructions and may include ungrounded information. Issues with conciseness.
1: (Very bad). Very poorly written, incoherent, and non-fluent. Fails to follow instructions and contains substantial ungrounded information. Severely lacking in conciseness.

Gen AI Evaluation Service には、次の静的ルーブリック指標が用意されています。

GROUNDING: 提供されたソーステキスト（グラウンドトゥルース）に対する事実性と整合性をチェックします。この指標は RAG システムにとって重要です。
SAFETY: ヘイトスピーチや危険なコンテンツなど、安全性ポリシーの違反についてモデルの回答を評価します。

FLUENCY などの指標プロンプトテンプレートを使用することもできます。

from vertexai import types

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.RubricMetric.SAFETY,
        types.RubricMetric.GROUNDING,
        types.RubricMetric.FLUENCY,
    ],
)

静的ルーブリックのカスタマイズ

特殊なニーズがある場合は、独自の静的ルーブリックを作成できます。この方法では最大限の制御が可能ですが、一貫性のある信頼性の高い結果を得るには評価プロンプトを慎重に設計する必要があります。静的ルーブリックをカスタマイズする前に、GENERAL_QUALITY のガイドラインを使用することをおすすめします。

# Define a custom metric to evaluate language simplicity
simplicity_metric = types.LLMMetric(
    name='language_simplicity',
    prompt_template=types.MetricPromptBuilder(
        instruction="Evaluate the story's simplicity for a 5-year-old.",
        criteria={
            "Vocabulary": "Uses simple words.",
            "Sentences": "Uses short sentences.",
        },
        rating_scores={
            "5": "Excellent: Very simple, ideal for a 5-year-old.",
            "4": "Good: Mostly simple, with minor complex parts.",
            "3": "Fair: Mix of simple and complex; may be challenging for a 5-year-old.",
            "2": "Poor: Largely too complex, with difficult words/sentences.",
            "1": "Very Poor: Very complex, unsuitable for a 5-year-old."
        }
    )
)

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        simplicity_metric
    ],
)

計算ベースの指標

計算ベースの指標は、決定的アルゴリズムを使用して、モデルの回答を参照回答と比較してスコアを付けます。データセットにグラウンドトゥルースが必要であり、「正解」が明確に定義されているタスクに最適です。

Recall-Oriented Understudy for Gisting Evaluation（rouge_l、rouge_1）: モデルの回答と参照テキストの n グラム（連続する単語のシーケンス）の適合率を測定します。通常は、テキスト要約の評価に使用されます。
Bilingual Evaluation Understudy（bleu）: 一致する n グラムをカウントして、回答と高品質の参照テキストの類似度を測定します。これは翻訳の品質の標準的な指標ですが、他のテキスト生成タスクにも使用できます。
完全一致（exact_match）: 参照回答と完全に一致する回答の割合を測定します。これは、事実に基づく質問応答や、正しい回答が 1 つしかないタスクに役立ちます。

from vertexai import types

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[
        types.Metric(name='bleu'),
        types.Metric(name='rouge_l'),
        types.Metric(name='exact_match')
    ],
)

カスタム関数指標

custom_function パラメータにカスタム Python 関数を渡してカスタム評価ロジックを実装することもできます。Gen AI Evaluation Service は、その関数をデータセットの各行に対して実行します。

# Define a custom function to check for the presence of a keyword
def contains_keyword(instance: dict) -> dict:
    keyword = "magic"
    response_text = instance.get("response", "")
    score = 1.0 if keyword in response_text.lower() else 0.0
    return {"score": score}

keyword_metric = types.Metric(
    name="keyword_check",
    custom_function=contains_keyword
)

eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[keyword_metric]
)