モデルのパフォーマンスを理解することは、機械学習モデルを管理するうえで重要です。モデルのトラフィック パターン、エラー率、レイテンシ、リソース使用率をモニタリングすることで、モデルの問題を特定し、レイテンシとコストを最適化できるマシンタイプを選択できます。
Cloud Monitoring を使用して、指標に基づいてアラートを構成することもできます。たとえば、モデル予測のレイテンシが大きすぎる場合にアラートを受け取ることができます。AI Platform Prediction から Cloud Monitoring に指標がエクスポートされます。AI Platform Prediction の各指標タイプの名前には「prediction」が含まれます。たとえば、ml.googleapis.com/prediction/online/replicas や ml.googleapis.com/prediction/online/accelerator/duty_cycle などです。
パフォーマンス指標のモニタリング
モデルのトラフィック パターン、エラー、レイテンシに関する情報は、Google Cloud コンソールで確認できます。[バージョン詳細] ページの [パフォーマンス] タブには、次のグラフが表示されます。
- 予測: オンライン予測とバッチ予測の両方の 1 秒あたりの予測数。リクエストごとに複数のインスタンスがある場合、各インスタンスはこのグラフでカウントされます。
- エラー: モデルで発生するエラーの割合。エラー率が高い場合は、通常、モデルまたはモデルへのリクエストに問題があることを示しています。レスポンス コードを使用して、発生したエラーを特定できます。
- モデル レイテンシと合計レイテンシ: モデルのレイテンシ。合計レイテンシは、リクエストがサービスに費やされた時間の合計です。モデル レイテンシは、コンピュータの処理に費やされた時間です。
パフォーマンスのグラフを表示する方法は次のとおりです。
Google Cloud コンソールで AI Platform Prediction の [モデル] ページに移動します。
リスト内のモデルの名前をクリックすると、[モデルの詳細] ページに移動します。
リスト内のバージョン名をクリックすると、[バージョン詳細] ページに移動します。
まだ選択されていない場合は、[パフォーマンス] タブをクリックします。
スクロールして各グラフを表示します。
リソース消費のモニタリング
Compute Engine（N1）マシンタイプを使用するモデル バージョンのリソース使用率のグラフを Google Cloud コンソールに表示できます。[バージョンの詳細] ページの [リソースの使用量] タブには、次のグラフが表示されます。
- レプリカ: ご使用のバージョンのレプリカの数。手動スケーリングを使用している場合、このグラフにはバージョンのデプロイ時または最終更新時に選択したノードの数が表示されます。自動スケーリングを有効にしている場合は、トラフィックの変化に応じてモデルのレプリカ数が時間とともに変化する様子を表示します。
- CPU 使用率、メモリ使用量、アクセラレータ平均負荷サイクル、アクセラレータ メモリ使用量: レプリカごとのバージョンの CPU、GPU、メモリの各使用率。
送信済みネットワーク バイト数と受信済みネットワーク バイト数: ジョブのネットワーク使用量。1 秒あたりのバイト数で表します。
リソース使用率グラフを表示する方法は次のとおりです。
Google Cloud コンソールで AI Platform Prediction の [モデル] ページに移動します。
リスト内のモデルの名前をクリックすると、[モデルの詳細] ページに移動します。
リスト内のバージョン名をクリックすると、[バージョン詳細] ページに移動します。
[リソースの使用量] タブをクリックします。
スクロールして各グラフを表示します。
次のステップ
- モデル バージョンに関する問題のトラブルシューティング。
- レイテンシまたはコストを削減するマシンタイプを選択する。