Data Labeling Service は、評価ジョブの実行時に一連の評価指標を生成します。生成される指標は機械学習モデルの特性に応じて異なります。このガイドでは、評価指標の種類とその確認方法について説明します。
始める前に
指標を確認する前に、評価ジョブを作成して、そのジョブが実行されるまで待機する必要があります。デフォルトでは、評価ジョブは毎日午前 10 時（UTC）に実行されます。
ジョブが実行されると、最初にグラウンド トゥルース ラベリングの審査担当者にデータが送信されます（このオプションを有効にしている場合）。次に、評価指標が計算されます。人手によるラベル付けは時間がかかります。ジョブで大量のデータがサンプリングされる場合、最初の評価指標が表示されるまでに数日かかる場合もあります。
モデルの平均適合率を比較する
AI Platform Prediction では、複数のモデル バージョンをグループ化し、1 つのモデルリソースにまとめることができます。1 つのモデルの各モデル バージョンは同じタスクを実行する必要がありますが、バージョンによってトレーニング方法を変えることは可能です。
1 つのモデルに複数のモデル バージョンが存在し、各バージョンに評価ジョブを作成している場合、モデル バージョンの平均適合率の変化をグラフで確認できます。
Google Cloud コンソールで AI Platform の [モデル] ページを開きます。
モデル バージョンを比較するモデルの名前をクリックします。
[評価] タブをクリックします。
このページのグラフでは、各モデルの平均適合率の変化を比較できます。グラフの間隔は変更できます。
最近の実行でモデル バージョンの評価ジョブにエラーが発生している場合、そのエラーもこのページに表示されます。
特定のモデル バージョンの指標を表示する
評価指標の詳細を確認するには、1 つのモデル バージョンを表示します。
Google Cloud コンソールで AI Platform の [モデル] ページを開きます。
目的のモデル バージョンを含むモデルの名前をクリックします。
目的のモデル バージョンの名前をクリックします。
[評価] タブをクリックします。
前のセクションで説明した比較表示と同様に、このページのグラフは平均適合率の変化を表します。モデル バージョンで最近実行された評価ジョブのエラーも表示されます。
個々の評価ジョブで生成された指標を表示するには、[日付を入力] フィールドに日付を入力します。[すべてのラベル] をクリックして、プルダウン メニューから特定のラベルを選択すると、表示される指標をさらに絞り込むことができます。以降のセクションでは、個別の評価ジョブで確認できる指標について説明します。
適合率と再現率の曲線
適合率と再現率の曲線では、分類しきい値を調整した場合に機械学習モデルの適合率と再現率がどのように変化しているのかを確認できます。
混同行列
混同行列には、グラウンド トゥルース ラベルと予測ラベルのすべてのペアが表示されます。これにより、機械学習モデルが特定のモデルを誤認識するパターンを確認できます。
混同行列は、分類を行うモデル バージョンにのみ生成されます。
並べて比較
モデル バージョンで画像分類またはテキスト分類を行う場合、予測入力ごとに機械学習モデルの予測ラベルとグラウンド トゥルース ラベルを並べて比較できます。
モデル バージョンで画像オブジェクトの検出を行う場合、機械学習モデルの予測境界ボックスとグラウンド トゥルースの境界ボックスを並べて比較できます。境界ボックスの上にマウスカーソルを置くと、関連するラベルが表示されます。
次のステップ
評価ジョブの更新、一時停止、削除の方法について学習する。