Vertex AI Model Registry でモデルの本番環境への移行を合理化する

※この投稿は米国時間 2022 年 10 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

機械学習（ML）は本質的に反復的なプロセスです。したがって、最良のビジネス成果をもたらすには、モデルの改善が必要になります。しかし、モデルのアーティファクトの急増により、最適なモデルのみを本番環境に導入することが難しくなる場合があります。

データ サイエンス チームは、モデルの周囲の状況が絶えず変化する中で、新しいトレーニング データにアクセスする、ユースケースの範囲を拡大する、より優れたモデル アーキテクチャを実装する、単に調整をするといったことを行うでしょう。これらのシナリオではいずれの場合も、新しいバージョンのモデルを構築して本番環境にリリースする必要があります。新しいバージョンが追加されるため、それらのバージョンを管理、比較、整理できることが重要になります。さらに、モデルを大規模に一元管理できる場所がなければ、業界の基準や規制を遵守し、適切なリリースとメンテナンスの手段でモデルのデプロイを統制するのが難しくなります。

こうした課題を解決するために、本日、Vertex AI Model Registry が一般公開されました。

Vertex AI Model Registry を使うことで、BigQuery、AutoML、カスタムモデルなど、あらゆるモデルのデプロイを一元的に管理および統制できます。Vertex AI Model Registry の使用に料金はかかりません。このレジストリを使う際に費用が発生するのは、モデルをエンドポイントにデプロイする場合、またはバッチ予測を実行する場合のみです。

Vertex AI Model Registry には、合理的な MLOps プロセスを構築するための、以下の重要なメリットがあります。

1. バージョン管理と ML メタデータの追跡によって、モデルの異なるバージョンにまたがって経時的に再現性を保証する。

2. 統合的なモデル評価によって、評価指標と説明可能性の指標を使い、新しいモデルを検証、理解する。

3. 簡素化されたモデルの検証によって、モデルのリリースを促進する。

4. 容易なデプロイによって、本番環境へのモデルの移行を合理化する。

5. モデルについての統一されたレポートによって、モデルのパフォーマンスを確保する。

バージョン管理と ML メタデータの追跡でモデルの再現性を保証する

Vertex AI Model Registry によってモデルのバージョニングを簡素化し、すべてのモデル メタデータを追跡することで、経時的に再現性を保証できます。

Vertex AI Model Registry では、モデルの整理、ラベル付け、評価、バージョニングが可能です。このレジストリでは、モデルのバージョンの説明、モデルタイプ、モデルのデプロイ ステータスなど、モデルに関する豊富な情報をすぐに入手できます。また、特定のバージョンを構築したチームやモデルがサービスを提供しているアプリケーションなど、追加の情報を関連付けることもできます。

最終的には、Model Registry コンソールを使うことで、モデルとその全バージョンについての全体像を一か所で把握できます。ドリルダウンすることで、特定のモデルとそれに関連するバージョンについてのすべての情報を得られるため、モデルの異なるバージョンにまたがって経時的に再現性を保証できます。

統合的なモデル評価でモデルの品質を確保する

新しい Vertex AI モデル評価サービスとのインテグレーションにより、評価指標と説明可能性の指標を使ってモデルのバージョンを検証および理解できるようになりました。これによって、最適なモデルのバージョンを迅速に特定し、本番環境にデプロイする前にモデルの品質を監査できます。Vertex AI Model Registry コンソールではモデルのバージョンごとに、モデルのタイプに応じて分類、回帰、予測の指標が表示されます。

簡素化されたモデルの検証でモデルのリリースを改善する  

MLOps 環境では、適切なモデルのバージョンをダウンストリーム システム全体で一貫して使用するために、自動化が重要です。デプロイをスケールし、ユースケースの範囲を拡大するには、特定のモデルのバージョンが本番環境で使用できる状態であることをチームが報告できる強固なインフラストラクチャが必要になります。

Vertex AI Model Registry では、エイリアスは特定のモデルのバージョンを参照する一意の名前です。新しいモデルを登録した場合、最初のバージョンにはデフォルトのエイリアスが自動的に割り当てられます。その後、モデルのライフサイクルを整理する方法に応じて、カスタム エイリアスを作成し、モデルに割り当てることができます。

モデル エイリアスの使用例としては、レビュー プロセスの段階（開始前、進行中、レビュー中、承認済み）やモデルのライフサイクルのステータス（試験運用版、ステージング環境、本番環境）を割り当てることができます。

このようにして、Model Registry では、ダウンストリーム サービス（モデルのデプロイ パイプラインやモデル提供インフラストラクチャなど）が容易かつ自動的に適切なモデルを取得できるようにすることで、モデルの検証プロセス全体を簡素化しています。

容易なデプロイで本番環境へのモデルの移行を合理化する

モデルをトレーニング、登録、検証することで、デプロイの準備が整います。Vertex AI Model Registry を使えば、マウス操作だけであらゆるモデル（BigQuery モデルを含む）をデプロイして、簡単に本番環境に導入できます。これは、Vertex AI エンドポイントおよび Vertex AI バッチ予測とのインテグレーションによって実現するものです。

Vertex AI Model Registry コンソールでは、承認済みのモデルのバージョンを選択し、エンドポイントを定義して、モデルのデプロイとモデルのモニタリングの設定を指定します。その後、モデルをデプロイします。モデルが正常にデプロイされたら、モデルビュー内のモデルのステータスが自動的に更新され、オンライン予測とバッチ予測の両方を生成する準備が整います。

モデルについての統一されたレポートでモデルのパフォーマンスを確保する

入力データがトレーニング データと類似したままの場合、デプロイしたモデルのパフォーマンスは保たれます。しかし、実際にはデータは経時的に変化し、モデルのパフォーマンスは低下します。これが、モデルの再トレーニングが非常に重要である理由です。通常はモデルを一定の間隔で再トレーニングしますが、理想としては再トレーニングを決定する前に新しいデータで継続的に評価すべきでしょう。 

現在プレビュー版の Vertex AI モデル評価とのインテグレーションを使って、モデルをデプロイした後に、テスト データセットおよび評価の構成を入力として定義します。それにより、モデルのパフォーマンス指標と公平性の指標が Vertex AI Model Registry コンソールに直接表示されます。

これらの指標を見ることで、本番環境で記録されたデータに基づいて、モデルの再トレーニングがいつ必要か決定できます。これらはモデル ガバナンスにおいて重要な機能であり、最新かつ最も精度の高いモデルのみを使ってビジネスを推進できるようになります。

まとめ

Vertex AI Model Registry は Vertex AI でモデルを管理するための一歩です。Vertex AI Model Registry では、お客様にとって最も重要なモデルを無料ですべて表示するシームレスなユーザー インターフェースと、一目で確認できるメタデータを提供することで、ビジネス上の意思決定をサポートしています。

ML モデルのライフサイクルを管理できる中央リポジトリ加えて、Vertex AI Model Registry では、Vertex AI の外部でトレーニングされたモデル（BQML モデルなど）と連携するための新しい方法が導入されています。また、Google のモデル評価サービスとのインテグレーションによるモデル比較機能も提供しており、容易に最適かつ最新のモデルのみをデプロイできるようにしています。さらに、この単一のビューによって、モデルのトレーニングおよびデプロイ プロセスの関係者全員おけるガバナンスとコミュニケーションを改善できます。

これらすべての Vertex AI Model Registry のメリットを活用することで、自信を持って最適なモデルを本番環境に迅速に移行できます。

詳細を確認する

Vertex AI Model Registry について詳しくは、以下のリソースもご確認ください。

• Vertex AI Model Registry のドキュメント

• BQML モデル レジストリのドキュメント

• Vertex AI モデル評価のドキュメント

早速、使ってみることに関心をお持ちの方のために、実践演習を行える Notebooks を以下にご紹介します。

• Vertex AI Model Registry の使用を開始する

• Vertex AI Model Registry でモデル ガバナンスを始める

• Vertex AI Model Registry に BigQuery ML モデルをデプロイし、予測を行う

• Vertex AI モデル評価を始める

^{Ethan Bao 氏、Shangjie Chen 氏、Marton Balint 氏、Phani Kolli 氏、Andrew Ferlitch 氏、Katie O’Leary 氏、および Vertex AI Model Registry のチームの皆様の助力と素晴らしいフィードバックに心から感謝します。}