AI & 機械学習

Vertex AI Experiments の自動ロギングで ML テストのトラッキングを自動化する方法

2023年4月12日

Google Cloud Japan Team

※この投稿は米国時間 2023 年 4 月 4 日に、Google Cloud blog に投稿されたものの抄訳です。

実用的な ML は、試行錯誤のプロセスです。ML 担当者は、指定したパラメータのセットを使った最適なモデルが見つかるまで、ML テストを行い、さまざまなパフォーマンス指標を比較します。ML には実験的な性質があるため、デバッグやコンプライアンスなど、ML テストをトラッキングし、再現可能なものにするには多くの理由があります。

しかし、テストのトラッキングは困難であり、他のチームメンバーがすぐに理解、再現、比較できるようにテストを整理する必要があります。そのため、必要のないオーバーヘッドが発生します。

このたびリリースした Vertex AI Experiments の自動ロギングは、モデルのテストトラッキングを自動化し、ML テストを効率化するソリューションです。

Vertex AI Experiments の自動ロギングを使用すると、トレーニングスクリプトに 1 行のコードを追加するだけで、パラメータ、パフォーマンス指標、リネージアーティファクトをログに記録できるようになります。他のロギングメソッドを明示的に呼び出す必要はありません。

Vertex AI 自動ロギングの使用方法

データサイエンティストや ML 担当者は、Colab や Vertex AI Workbench などのノートブック環境でテストを実施します。Vertex AI Experiments の自動ロギングを有効にするには、Vertex AI Experiments セッションで aiplatform.autolog() を呼び出します。この呼び出しの後、モデルトレーニングに関連するすべてのパラメータ、指標、アーティファクトが自動的にログに記録され、Vertex AI Experiments のコンソールからアクセスできるようになります。

以下は、Scikit-learn モデルのトレーニングセッションで自動ロギングを有効にする方法です。

読み込んでいます...

以下の動画では、Vertex AI Experiments コンソールのパラメータとトレーニング中 / トレーニング後の指標を示しています。

https://storage.googleapis.com/gweb-cloudblog-publish/original_images/Vertex_AI_Experiments_-_Autologging.gif

Vertex AI Experiments - 自動ロギング

Vertex AI SDK 自動ロギングは、MLFlow の自動ロギングを実装に使用しており、XGBoost、Keras、Pytorch Lighting を含む複数のフレームワークをサポートしています。サポートされているすべてのフレームワークについては、こちらのドキュメントを参照してください。

Vertex AI Experiments 自動ロギングでは、複数のエポックに沿ってモデルをトレーニングする際に、モデルの時系列指標が自動的にログに記録されます。これは、Vertex AI Experiments の自動ロギングと Vertex AI Tensorboard が統合されているためです。

さらに、Vertex AI Experiments の自動ロギングは、ニーズに合わせて調整することができます。たとえば、チーム内で決めているテストの命名規則があるとします。デフォルトでは、Vertex AI Experiments の自動ロギングにより、「aiplatform.start_run()」や「aiplatform.end_run()」を呼び出すことなく、テスト実行が作成されます。自動ロギング用に独自のテスト実行名を指定したい場合は、自動ロギングを有効にした後に、aiplatform.start_run() と aiplatform.end_run() を使用して、テスト内の任意の実行を手動で初期化できます。