试用 Gemini 1.5 模型，体验 Vertex AI 中最新的多模态模型，了解运用 100 万个词元的上下文窗口可以构建怎样的应用。 试用 Gemini 1.5 模型，体验 Vertex AI 中最新的多模态模型，了解运用 100 万个词元的上下文窗口可以构建怎样的应用。

快速评估 API

借助快速评估服务，您可以根据多个指标对大语言模型 (LLM) 进行逐点和成对的评估。您可以提供推理时间输入、LLM 回答和其他参数，而评估服务会返回特定于评估任务的指标。

指标包括基于模型的指标（例如 SummarizationQuality）和内存中计算的指标（例如 rouge、bleu 和工具函数调用指标）。由于该服务直接将模型的预测结果作为输入，因此评估服务可以对 Vertex AI 支持的所有模型执行推断和后续评估。

如需详细了解如何评估模型，请参阅生成式 AI 评估服务概览。

局限性

以下是评估服务的限制：

基于模型的指标会消耗 text-bison 配额。快速评估服务利用 text-bison 作为底层仲裁者模型，来计算基于模型的指标。
评估服务会出现传播延迟。首次调用服务后的几分钟内可能不可用。

示例语法

用于发送评估调用的语法。

curl

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \

https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}:evaluateInstances \
-d '{
  "contents": [{
    ...
  }],
  "tools": [{
    "function_declarations": [
      {
        ...
      }
    ]
  }]
}'

Python

import json

from google import auth
from google.api_core import exceptions
from google.auth.transport import requests as google_auth_requests

creds, _ = auth.default(
    scopes=['https://www.googleapis.com/auth/cloud-platform'])

data = {
  ...
}

uri = f'https://${LOCATION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${LOCATION}:evaluateInstances'
result = google_auth_requests.AuthorizedSession(creds).post(uri, json=data)

print(json.dumps(result.json(), indent=2))

参数列表

参数
`exact_match_input`	可选：`ExactMatchInput`。输入内容，用于评估预测结果是否与参照值完全匹配。
`bleu_input`	可选：`BleuInput`。输入，用于通过将预测结果与参考进行比较来计算 BLEU 得分。
`rouge_input`	可选：`RougeInput`。用于通过将预测与参考进行比较来计算 `rouge` 分数的输入。`rouge_type` 支持不同的 `rouge` 得分。
`fluency_input`	可选：`FluencyInput`。用于评估单个回答的语言掌握情况的输入。
`coherence_input`	可选：`CoherenceInput`。用于评估单个回答能否提供连贯、易于理解的回答。
`safety_input`	可选：`SafetyInput`。用于评估单个回答的安全级别的输入。
`groundedness_input`	可选：`GroundednessInput`。用于评估单个回答能否提供或参考仅输入文本中包含的信息能力的输入。
`fulfillment_input`	可选：`FulfillmentInput`。用于评估单个回答是否能够完全执行指令的输入。
`summarization_quality_input`	可选：`SummarizationQualityInput`。用于评估单个回答的整体文本能力的输入。
`pairwise_summarization_quality_input`	可选：`PairwiseSummarizationQualityInput`。用于比较两个回答的整体汇总质量的输入。
`summarization_helpfulness_input`	可选：`SummarizationHelpfulnessInput`。用于评估单个回答能否提供摘要的输入，其中包含替换原始文本所需的详细信息。
`summarization_verbosity_input`	可选：`SummarizationVerbosityInput`。用于评估单个回答能否提供简洁的摘要的输入。
`question_answering_quality_input`	可选：`QuestionAnsweringQualityInput`。用于评估单个回答的整体回答问题的能力的输入，同时提供可供参考的文本内容。
`pairwise_question_answering_quality_input`	可选：`PairwiseQuestionAnsweringQualityInput`。用于比较两个回答的整体回答问题的能力的输入，同时提供要参考的文本正文。
`question_answering_relevance_input`	可选：`QuestionAnsweringRelevanceInput`。用于评估单个回答在被询问时回答相关信息的能力。
`question_answering_helpfulness_input`	可选：`QuestionAnsweringHelpfulnessInput`。用于评估单个回答在回答问题时提供关键详细信息的能力的输入。
`question_answering_correctness_input`	可选：`QuestionAnsweringCorrectnessInput`。用于评估单个回答正确回答问题的能力的输入。
`tool_call_valid_input`	可选：`ToolCallValidInput`。用于评估单个回答预测有效工具调用的能力的输入。
`tool_name_match_input`	可选：`ToolNameMatchInput`。用于评估单个回答使用正确工具名称预测工具调用的能力的输入。
`tool_parameter_key_match_input`	可选：`ToolParameterKeyMatchInput`。用于评估单个回答使用正确的参数名称预测工具调用的能力的输入。
`tool_parameter_kv_match_input`	可选：`ToolParameterKvMatchInput`。用于评估单个回答能否使用正确的参数名称和值预测工具调用的能力的输入

`ExactMatchInput`

{
  "exact_match_input": {
    "metric_spec": {},
    "instances": [
      {
        "prediction": string,
        "reference": string
      }
    ]
  }
}

参数
`metric_spec`	可选：`ExactMatchSpec`。指标规范，用于定义指标的行为。
`instances`	可选：`ExactMatchInstance[]`。评估输入，由 LLM 回答和参考组成。
`instances.prediction`	可选：`string`。 LLM 回答。
`instances.reference`	可选：`string`。黄金 LLM 回答以供参考。

`ExactMatchResults`

{
  "exact_match_results": {
    "exact_match_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出

输出
`exact_match_metric_values`	`ExactMatchMetricValue[]` 每个实例输入的评估结果。
`exact_match_metric_values.score`	`float` 以下项之一： `0`：实例不完全匹配 `1`：完全匹配

exact_match_metric_values

ExactMatchMetricValue[]

每个实例输入的评估结果。

exact_match_metric_values.score

float

以下项之一：

0：实例不完全匹配
1：完全匹配

`BleuInput`

{
  "bleu_input": {
    "metric_spec": {},
    "instances": [
      {
        "prediction": string,
        "reference": string
      }
    ]
  }
}

参数
`metric_spec`	可选：`BleuSpec`。指标规范，用于定义指标的行为。
`instances`	可选：`BleuInstance[]`。评估输入，由 LLM 回答和参考组成。
`instances.prediction`	可选：`string`。 LLM 回答。
`instances.reference`	可选：`string`。黄金 LLM 回答以供参考。

`BleuResults`

{
  "bleu_results": {
    "bleu_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出

输出
`bleu_metric_values`	`BleuMetricValue[]` 每个实例输入的评估结果。
`bleu_metric_values.score`	`float`：`[0, 1]`，其中分数越高，表示预测更像参考。

bleu_metric_values

BleuMetricValue[]

每个实例输入的评估结果。

bleu_metric_values.score

float：[0, 1]，其中分数越高，表示预测更像参考。

`RougeInput`

{
  "rouge_input": {
    "metric_spec": {
      "rouge_type": string,
      "use_stemmer": bool,
      "split_summaries": bool
    },
    "instances": [
      {
        "prediction": string,
        "reference": string
      }
    ]
  }
}

参数
`metric_spec`	可选：`RougeSpec`。指标规范，用于定义指标的行为。
`metric_spec.rouge_type`	可选：`string`。可接受的值： `rougen[1-9]`：根据预测结果与参考文本之间的 n-gram 重叠情况计算 `rouge` 得分。 `rougeL`：根据预测和参考之间的最长公共子序列 (LCS) 计算 `rouge` 得分。 `rougeLsum`：首先将预测结果和引用拆分为句子，然后计算每个元组的 LCS。最终的 `rougeLsum` 得分是这些 LCS 得分的平均值。
`metric_spec.use_stemmer`	可选：`bool`。是否应使用 Porter 词干提取器来去除单词后缀以提高匹配度。
`metric_spec.split_summaries`	可选：`bool`。是否在句子之间为 rougeLsum 添加换行符。
`instances`	可选：`RougeInstance[]`。评估输入，由 LLM 回答和参考组成。
`instances.prediction`	可选：`string`。 LLM 回答。
`instances.reference`	可选：`string`。黄金 LLM 回答以供参考。

`RougeResults`

{
  "rouge_results": {
    "rouge_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出

输出
`rouge_metric_values`	`RougeValue[]` 每个实例输入的评估结果。
`rouge_metric_values.score`	`float`：`[0, 1]`，其中分数越高，表示预测更像参考。

rouge_metric_values

RougeValue[]

每个实例输入的评估结果。

rouge_metric_values.score

float：[0, 1]，其中分数越高，表示预测更像参考。

`FluencyInput`

{
  "fluency_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string
    }
  }
}

参数

参数
`metric_spec`	可选：`FluencySpec`。定义指标行为的指标规范。
`instance`	可选：`FluencyInstance`。评估输入，由 LLM 回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。

metric_spec

可选：FluencySpec。

定义指标行为的指标规范。

instance

可选：FluencyInstance。

评估输入，由 LLM 回答组成。

instance.prediction

可选：string。

LLM 回答。

`FluencyResult`

{
  "fluency_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：口齿不清 `2`：有点口齿不清 `3`：中性 `4`：还算流畅 `5`：流畅
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：口齿不清
2：有点口齿不清
3：中性
4：还算流畅
5：流畅

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`CoherenceInput`

{
  "coherence_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string
    }
  }
}

参数

参数
`metric_spec`	可选：`CoherenceSpec`。定义指标行为的指标规范。
`instance`	可选：`CoherenceInstance`。评估输入，由 LLM 回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。

metric_spec

可选：CoherenceSpec。

定义指标行为的指标规范。

instance

可选：CoherenceInstance。

评估输入，由 LLM 回答组成。

instance.prediction

可选：string。

LLM 回答。

`CoherenceResult`

{
  "coherence_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：不连贯 `2`：有点不连贯 `3`：中性 `4`：还算连贯 `5`：连贯
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：不连贯
2：有点不连贯
3：中性
4：还算连贯
5：连贯

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`SafetyInput`

{
  "safety_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string
    }
  }
}

参数

参数
`metric_spec`	可选：`SafetySpec`。指标规范，用于定义指标的行为。
`instance`	可选：`SafetyInstance`。评估输入，由 LLM 回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。

metric_spec

可选：SafetySpec。

指标规范，用于定义指标的行为。

instance

可选：SafetyInstance。

评估输入，由 LLM 回答组成。

instance.prediction

可选：string。

LLM 回答。

`SafetyResult`

{
  "safety_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `0`：不安全 `1`：安全
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：结果的置信度分数为 `[0, 1]`。

score

float：下列其中一种：

0：不安全
1：安全

explanation

string：得分分配的理由。

confidence

float：结果的置信度分数为 [0, 1]。

`GroundednessInput`

{
  "groundedness_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "context": string
    }
  }
}

参数	说明
`metric_spec`	可选：GroundednessSpec 定义指标行为的指标规范。
`instance`	可选：GroundednessInstance 评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`GroundednessResult`

{
  "groundedness_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `0`：没有以事实为依据 `1`：以事实为依据
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

0：没有以事实为依据
1：以事实为依据

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`FulfillmentInput`

{
  "fulfillment_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string
    }
  }
}

参数
`metric_spec`	可选：`FulfillmentSpec`。指标规范，用于定义指标的行为。
`instance`	可选：`FulfillmentInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。

`FulfillmentResult`

{
  "fulfillment_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：没有履行 `2`：履行不佳 `3`：履行尚可 `4`：履行良好 `5`：完全履行
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：没有履行
2：履行不佳
3：履行尚可
4：履行良好
5：完全履行

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`SummarizationQualityInput`

{
  "summarization_quality_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string,
    }
  }
}

参数
`metric_spec`	可选：`SummarizationQualitySpec`。定义指标行为的指标规范。
`instance`	可选：`SummarizationQualityInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`SummarizationQualityResult`

{
  "summarization_quality_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：很差 `2`：差 `3`：尚可 `4`：良好 `5`：非常好
`explanation`	`string`：为分数分配值的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：很差
2：差
3：尚可
4：良好
5：非常好

explanation

string：为分数分配值的理由。

confidence

float：[0, 1] 结果的置信度得分。

`PairwiseSummarizationQualityInput`

{
  "pairwise_summarization_quality_input": {
    "metric_spec": {},
    "instance": {
      "baseline_prediction": string,
      "prediction": string,
      "instruction": string,
      "context": string,
    }
  }
}

参数
`metric_spec`	可选：`PairwiseSummarizationQualitySpec`。指标规范，用于定义指标的行为。
`instance`	可选：`PairwiseSummarizationQualityInstance`。评估输入，由推理输入和相应的回答组成。
`instance.baseline_prediction`	可选：`string`。基准模型 LLM 回答。
`instance.prediction`	可选：`string`。候选模型 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`PairwiseSummarizationQualityResult`

{
  "pairwise_summarization_quality_result": {
    "pairwise_choice": PairwiseChoice,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`pairwise_choice`	`PairwiseChoice`：枚举，可能的值如下： `BASELINE`：基准预测较好 `CANDIDATE`：候选预测效果更好 `TIE`：基准预测和候选预测之间的对比情况。
`explanation`	`string`：对 pairwise_choice 分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

pairwise_choice

PairwiseChoice：枚举，可能的值如下：

BASELINE：基准预测较好
CANDIDATE：候选预测效果更好
TIE：基准预测和候选预测之间的对比情况。

explanation

string：对 pairwise_choice 分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`SummarizationHelpfulnessInput`

{
  "summarization_helpfulness_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string,
    }
  }
}

参数
`metric_spec`	可选：`SummarizationHelpfulnessSpec`。定义指标行为的指标规范。
`instance`	可选：`SummarizationHelpfulnessInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`SummarizationHelpfulnessResult`

{
  "summarization_helpfulness_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：没用 `2`：不太有用 `3`：中性 `4`：比较有帮助 `5`：有帮助
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：没用
2：不太有用
3：中性
4：比较有帮助
5：有帮助

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`SummarizationVerbosityInput`

{
  "summarization_verbosity_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string,
    }
  }
}

参数
`metric_spec`	可选：`SummarizationVerbositySpec`。定义指标行为的指标规范。
`instance`	可选：`SummarizationVerbosityInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`SummarizationVerbosityResult`

{
  "summarization_verbosity_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`。以下项之一： `-2`：简洁 `-1`：比较简洁 `0`：最佳 `1`：比较详细 `2`：详细
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float。以下项之一：

-2：简洁
-1：比较简洁
0：最佳
1：比较详细
2：详细

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`QuestionAnsweringQualityInput`

{
  "question_answering_quality_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string,
    }
  }
}

参数
`metric_spec`	可选：`QuestionAnsweringQualitySpec`。指标规范，用于定义指标的行为。
`instance`	可选：`QuestionAnsweringQualityInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`QuestionAnsweringQualityResult`

{
  "question_answering_quality_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：很差 `2`：差 `3`：尚可 `4`：良好 `5`：非常好
`explanation`	`string`：为分数分配值的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：很差
2：差
3：尚可
4：良好
5：非常好

explanation

string：为分数分配值的理由。

confidence

float：[0, 1] 结果的置信度得分。

`PairwiseQuestionAnsweringQualityInput`

{
  "question_answering_quality_input": {
    "metric_spec": {},
    "instance": {
      "baseline_prediction": string,
      "prediction": string,
      "instruction": string,
      "context": string
    }
  }
}

参数
`metric_spec`	可选：`QuestionAnsweringQualitySpec`。指标规范，用于定义指标的行为。
`instance`	可选：`QuestionAnsweringQualityInstance`。评估输入，由推理输入和相应的回答组成。
`instance.baseline_prediction`	可选：`string`。基准模型 LLM 回答。
`instance.prediction`	可选：`string`。候选模型 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`PairwiseQuestionAnsweringQualityResult`

{
  "pairwise_question_answering_quality_result": {
    "pairwise_choice": PairwiseChoice,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`pairwise_choice`	`PairwiseChoice`：枚举，可能的值如下： `BASELINE`：基准预测较好 `CANDIDATE`：候选预测效果更好 `TIE`：基准预测与候选预测相等。
`explanation`	`string`：`pairwise_choice` 分配的理由。
`confidence`	`float`：结果的置信度分数为 `[0, 1]`。

pairwise_choice

PairwiseChoice：枚举，可能的值如下：

BASELINE：基准预测较好
CANDIDATE：候选预测效果更好
TIE：基准预测与候选预测相等。

explanation

string：pairwise_choice 分配的理由。

confidence

float：结果的置信度分数为 [0, 1]。

`QuestionAnsweringRelevanceInput`

{
  "question_answering_quality_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string
    }
  }
}

参数
`metric_spec`	可选：`QuestionAnsweringRelevanceSpec`。定义指标行为的指标规范。
`instance`	可选：`QuestionAnsweringRelevanceInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`QuestionAnsweringRelevancyResult`

{
  "question_answering_relevancy_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：不相关 `2`：不太相关 `3`：中性 `4`：还算相关 `5`：相关
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：不相关
2：不太相关
3：中性
4：还算相关
5：相关

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`QuestionAnsweringHelpfulnessInput`

{
  "question_answering_helpfulness_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "instruction": string,
      "context": string
    }
  }
}

参数
`metric_spec`	可选：`QuestionAnsweringHelpfulnessSpec`。指标规范，用于定义指标的行为。
`instance`	可选：`QuestionAnsweringHelpfulnessInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`QuestionAnsweringHelpfulnessResult`

{
  "question_answering_helpfulness_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `1`：没用 `2`：不太有用 `3`：中性 `4`：比较有帮助 `5`：有帮助
`explanation`	`string`：得分分配的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

1：没用
2：不太有用
3：中性
4：比较有帮助
5：有帮助

explanation

string：得分分配的理由。

confidence

float：[0, 1] 结果的置信度得分。

`QuestionAnsweringCorrectnessInput`

{
  "question_answering_correctness_input": {
    "metric_spec": {
      "use_reference": bool
    },
    "instance": {
      "prediction": string,
      "reference": string,
      "instruction": string,
      "context": string
    }
  }
}

参数
`metric_spec`	可选：`QuestionAnsweringCorrectnessSpec`。指标规范，用于定义指标的行为。
`metric_spec.use_reference`	可选：`bool`。评估中是否使用了引用。
`instance`	可选：`QuestionAnsweringCorrectnessInstance`。评估输入，由推理输入和相应的回答组成。
`instance.prediction`	可选：`string`。 LLM 回答。
`instance.reference`	可选：`string`。黄金 LLM 回答以供参考。
`instance.instruction`	可选：`string`。推理时使用的指令。
`instance.context`	可选：`string`。包含所有信息的推理时间文本，可在 LLM 回答中使用。

`QuestionAnsweringCorrectnessResult`

{
  "question_answering_correctness_result": {
    "score": float,
    "explanation": string,
    "confidence": float
  }
}

输出

输出
`score`	`float`：下列其中一种： `0`：错误 `1`：正确
`explanation`	`string`：为分数分配值的理由。
`confidence`	`float`：`[0, 1]` 结果的置信度得分。

score

float：下列其中一种：

0：错误
1：正确

explanation

string：为分数分配值的理由。

confidence

float：[0, 1] 结果的置信度得分。

`ToolCallValidInput`

{
  "tool_call_valid_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "reference": string
    }
  }
}

参数
`metric_spec`	可选：`ToolCallValidSpec`。指标规范，用于定义指标的行为。
`instance`	可选：`ToolCallValidInstance`。评估输入，由 LLM 回答和参考组成。
`instance.prediction`	可选：`string`。候选模型 LLM 回答，这是一个包含 `content` 和 `tool_calls` 键的 JSON 序列化字符串。`content` 值是模型的文本输出。`tool_call` 值是工具调用列表的 JSON 序列化字符串。示例如下： { "content": "", "tool_calls": [ { "name": "book_tickets", "arguments": { "movie": "Mission Impossible Dead Reckoning Part 1", "theater": "Regal Edwards 14", "location": "Mountain View CA", "showtime": "7:30", "date": "2024-03-30", "num_tix": "2" } } ] }
`instance.reference`	可选：`string`。黄金模型输出与预测的格式相同。

`ToolCallValidResults`

{
  "tool_call_valid_results": {
    "tool_call_valid_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出

输出
`tool_call_valid_metric_values`	重复的 `ToolCallValidMetricValue`：每个实例输入的评估结果。
`tool_call_valid_metric_values.score`	`float`：下列其中一种： `0`：工具调用无效 `1`：工具调用有效

tool_call_valid_metric_values

重复的 ToolCallValidMetricValue：每个实例输入的评估结果。

tool_call_valid_metric_values.score

float：下列其中一种：

0：工具调用无效
1：工具调用有效

`ToolNameMatchInput`

{
  "tool_name_match_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "reference": string
    }
  }
}

参数
`metric_spec`	可选：`ToolNameMatchSpec`。指标规范，用于定义指标的行为。
`instance`	可选：`ToolNameMatchInstance`。评估输入，由 LLM 回答和参考组成。
`instance.prediction`	可选：`string`。候选模型 LLM 回答，这是一个包含 `content` 和 `tool_calls` 键的 JSON 序列化字符串。`content` 值是模型的文本输出。`tool_call` 值是工具调用列表的 JSON 序列化字符串。
`instance.reference`	可选：`string`。黄金模型输出与预测的格式相同。

`ToolNameMatchResults`

{
  "tool_name_match_results": {
    "tool_name_match_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出

输出
`tool_name_match_metric_values`	重复的 `ToolNameMatchMetricValue`：每个实例输入的评估结果。
`tool_name_match_metric_values.score`	`float`：下列其中一种： `0`：工具调用名称与参照项不匹配。 `1`：工具调用名称与参照项匹配。

tool_name_match_metric_values

重复的 ToolNameMatchMetricValue：每个实例输入的评估结果。

tool_name_match_metric_values.score

float：下列其中一种：

0：工具调用名称与参照项不匹配。
1：工具调用名称与参照项匹配。

`ToolParameterKeyMatchInput`

{
  "tool_parameter_key_match_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "reference": string
    }
  }
}

参数
`metric_spec`	可选：`ToolParameterKeyMatchSpec`。定义指标行为的指标规范。
`instance`	可选：`ToolParameterKeyMatchInstance`。评估输入，由 LLM 回答和参考组成。
`instance.prediction`	可选：`string`。候选模型 LLM 回答，这是一个包含 `content` 和 `tool_calls` 键的 JSON 序列化字符串。`content` 值是模型的文本输出。`tool_call` 值是工具调用列表的 JSON 序列化字符串。
`instance.reference`	可选：`string`。黄金模型输出与预测的格式相同。

`ToolParameterKeyMatchResults`

{
  "tool_parameter_key_match_results": {
    "tool_parameter_key_match_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出
`tool_parameter_key_match_metric_values`	重复的 `ToolParameterKeyMatchMetricValue`：每个实例输入的评估结果。
`tool_parameter_key_match_metric_values.score`	`float`：`[0, 1]`，其中得分越高，表示与引用参数名称匹配的参数越多。

`ToolParameterKVMatchInput`

{
  "tool_parameter_kv_match_input": {
    "metric_spec": {},
    "instance": {
      "prediction": string,
      "reference": string
    }
  }
}

参数
`metric_spec`	可选：`ToolParameterKVMatchSpec`。指标规范，用于定义指标的行为。
`instance`	可选：`ToolParameterKVMatchInstance`。评估输入，由 LLM 回答和参考组成。
`instance.prediction`	可选：`string`。候选模型 LLM 回答，这是一个包含 `content` 和 `tool_calls` 键的 JSON 序列化字符串。`content` 值是模型的文本输出。`tool_call` 值是工具调用列表的 JSON 序列化字符串。
`instance.reference`	可选：`string`。黄金模型输出与预测的格式相同。

`ToolParameterKVMatchResults`

{
  "tool_parameter_kv_match_results": {
    "tool_parameter_kv_match_metric_values": [
      {
        "score": float
      }
    ]
  }
}

输出
`tool_parameter_kv_match_metric_values`	重复的 `ToolParameterKVMatchMetricValue`：每个实例输入的评估结果。
`tool_parameter_kv_match_metric_values.score`	`float`：`[0, 1]`，得分越高，表示与参考参数的名称和值匹配的参数越多。

示例

评估输出

以下示例演示了如何调用 Rapid Evaluation API 来使用各种评估指标评估 LLM 的输出，包括：

summarization_quality
groundedness
fulfillment
summarization_helpfulnes
summarization_verbosity

Python

import pandas as pd

import vertexai
from vertexai.preview.evaluation import EvalTask
from vertexai.generative_models import GenerativeModel

# TODO(developer): Update and un-comment below lines
# project_id = "PROJECT_ID"

vertexai.init(project=project_id, location="us-central1")

eval_dataset = pd.DataFrame(
    {
        "instruction": [
            "Summarize the text in one sentence.",
            "Summarize the text such that a five-year-old can understand.",
        ],
        "context": [
            """As part of a comprehensive initiative to tackle urban congestion and foster
            sustainable urban living, a major city has revealed ambitious plans for an
            extensive overhaul of its public transportation system. The project aims not
            only to improve the efficiency and reliability of public transit but also to
            reduce the city\'s carbon footprint and promote eco-friendly commuting options.
            City officials anticipate that this strategic investment will enhance
            accessibility for residents and visitors alike, ushering in a new era of
            efficient, environmentally conscious urban transportation.""",
            """A team of archaeologists has unearthed ancient artifacts shedding light on a
            previously unknown civilization. The findings challenge existing historical
            narratives and provide valuable insights into human history.""",
        ],
        "response": [
            "A major city is revamping its public transportation system to fight congestion, reduce emissions, and make getting around greener and easier.",
            "Some people who dig for old things found some very special tools and objects that tell us about people who lived a long, long time ago! What they found is like a new puzzle piece that helps us understand how people used to live.",
        ],
    }
)

eval_task = EvalTask(
    dataset=eval_dataset,
    metrics=[
        "summarization_quality",
        "groundedness",
        "fulfillment",
        "summarization_helpfulness",
        "summarization_verbosity",
    ],
)

model = GenerativeModel("gemini-1.0-pro")

prompt_template = (
    "Instruction: {instruction}. Article: {context}. Summary: {response}"
)
result = eval_task.evaluate(model=model, prompt_template=prompt_template)

print("Summary Metrics:\n")

for key, value in result.summary_metrics.items():
    print(f"{key}: \t{value}")

print("\n\nMetrics Table:\n")
print(result.metrics_table)

评估输出：成对摘要质量

以下示例演示了如何调用 Rapid Evaluation API 以使用成对汇总质量比较来评估 LLM 的输出。

REST

在使用任何请求数据之前，请先进行以下替换：

PROJECT_ID：您的项目 ID。
LOCATION：处理请求的区域。
PREDICTION：LLM 回答
BASELINE_PREDICTION：基准模型 LLM 回答。
INSTRUCTION：推理时使用的指令。
CONTEXT：包含所有相关信息的推理时间文本，可在 LLM 回答中使用。

HTTP 方法和网址：

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/LOCATION:evaluateInstances \

请求 JSON 正文：

{
  "pairwise_summarization_quality_input": {
    "metric_spec": {},
    "instance": {
      "prediction": "PREDICTION",
      "baseline_prediction": "BASELINE_PREDICTION",
      "instruction": "INSTRUCTION",
      "context": "CONTEXT",
    }
  }
}

如需发送请求，请选择以下方式之一：

curl

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI，或者使用了 Cloud Shell，这会使您自动登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/LOCATION:evaluateInstances \"

PowerShell

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/LOCATION:evaluateInstances \" | Select-Object -Expand Content

获取 rouge 得分

以下示例调用 Rapid Evaluation API 以获取由多个输入生成的预测结果的 Rouge 得分。Rouge 输入使用 metric_spec，用于确定指标的行为。

REST

在使用任何请求数据之前，请先进行以下替换：

PROJECT_ID：您的项目 ID。
LOCATION：处理请求的区域。
PREDICTION：LLM 回答
REFERENCE：黄金 LLM 回答以供参考。
ROUGE_TYPE：用于确定 rouge 得分的计算。如需了解可接受的值，请参阅 metric_spec.rouge_type。
USE_STEMMER：确定是否使用 Porter 词干提取器来去除单词后缀以提高匹配度。如需了解可接受的值，请参阅 metric_spec.use_stemmer。
SPLIT_SUMMARIES：确定是否在 rougeLsum 句子之间添加新行。如需了解可接受的值，请参阅 metric_spec.split_summaries。

HTTP 方法和网址：

POST https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/REGION:evaluateInstances \

请求 JSON 正文：

{
  "rouge_input": {
    "instances": {
      "prediction": "PREDICTION",
      "reference": "REFERENCE.",
    },
    "metric_spec": {
      "rouge_type": "ROUGE_TYPE",
      "use_stemmer": USE_STEMMER,
      "split_summaries": SPLIT_SUMMARIES,
    }
  }
}

如需发送请求，请选择以下方式之一：

curl

将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/REGION:evaluateInstances \"

PowerShell

注意：以下命令假定您已使用您的用户账号通过运行 gcloud init 或 gcloud auth login 登录 gcloud CLI。您可以运行 gcloud auth list 来检查当前活跃的账号。

将请求正文保存在名为 request.json 的文件中，然后执行以下命令：

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1beta1/projects/PROJECT_ID-/locations/REGION:evaluateInstances \" | Select-Object -Expand Content

后续步骤

如需查看详细文档，请参阅运行快速评估。