テキスト分類モデルの予測結果を解釈する

2024 年 9 月 15 日以降、分類、エンティティ抽出、感情分析の目標をカスタマイズするには、Vertex AI Gemini のプロンプトとチューニングに移行する必要があります。Vertex AI AutoML Text のモデルを、分類、エンティティ抽出、感情分析の目標に向けてトレーニングまたは更新することはできなくなります。既存の Vertex AI AutoML Text モデルは、2025 年 6 月 15 日まで引き続き使用できます。AutoML Text と Gemini の比較については、AutoML Text ユーザー向けの Gemini をご覧ください。プロンプト機能の向上による Gemini のユーザーエクスペリエンスの改善について詳しくは、チューニングの概要をご覧ください。チューニングを開始するには、Gemini テキストモデルのモデルチューニングをご覧ください。

予測をリクエストすると、Vertex AI がモデルの目的に基づいて結果を返します。マルチラベル分類モデルの予測によって、ドキュメントごとに 1 つ以上のラベルと、各ラベルの信頼スコアが返されます。シングルラベル分類モデルの場合、予測によって返されるのは、ドキュメントごとに 1 つのラベルと信頼スコアだけです。

信頼スコアは、モデルによる各クラスまたはラベルとテスト項目の関連性の強さを表します。数値が大きいほど、その項目にラベルを適用するモデルの信頼度が高くなります。モデルの結果を受け入れるのに必要な信頼スコアの高さを決定します。

スコアしきい値スライダー

Google Cloud コンソールの Vertex AI では、スライダーを使用して、すべてのクラスまたはラベルの信頼しきい値を調整できます。また、個々のクラスまたはラベルの信頼しきい値を調整することもできます。スライダーは、[評価] タブのモデルの詳細ページで使用できます。信頼しきい値は、モデルがクラスまたはラベルをテスト項目に割り当てるために必要な信頼度です。しきい値を調整する際に、モデルの精度と再現率の変化を確認できます。しきい値を大きくすると一般に精度は向上しますが、再現率は低下します。

バッチ予測の出力例

次のサンプルは、マルチラベル分類モデルの予測結果です。モデルが、送信されたドキュメントに GreatService、Suggestion、InfoRequest の各ラベルを適用しました。信頼値は各ラベルに順番に適用されます。この例では、モデルは最も関連性の高いラベルとして GreatService を予測しました。

{
  "instance": {"content": "gs://bucket/text.txt", "mimeType": "text/plain"},
  "predictions": [
    {
      "ids": [
        "1234567890123456789",
        "2234567890123456789",
        "3234567890123456789"
      ],
      "displayNames": [
        "GreatService",
        "Suggestion",
        "InfoRequest"
      ],
      "confidences": [
        0.8986392080783844,
        0.81984345316886902,
        0.7722353458404541
      ]
    }
  ]
}

予測の取得