Google AI で構築: Fiddler AI で ML モデルの優れたオブザーバビリティを実現

※この投稿は米国時間 2023 年 10 月 7 日に、Google Cloud blog に投稿されたものの抄訳です。

AI は、私たちの日々の体験を決定するうえでますます重要な役割を果たすようになってきています。AI の用途は、検索システムやレコメンデーション システムにとどまらず、雇用、融資、刑事司法、医療、教育など、重要度の高い分野にまで急速に拡大しています。AI が個人、企業、社会に与える潜在的な影響は膨大であり、AI モデルの設計は正確で信頼性が高く、倫理的であることが不可欠です。したがって、AI モデルが正確な予測を行っていること、データの変化に対して堅牢であること、偽の特徴に依存していないこと、特定のサブグループのユーザーを不当に差別していないことが重要になります。そのため、潜在的なリスクを最小限に抑えながら、私たちの日常生活を向上させるための信頼できる、堅牢かつ倫理的な AI ソリューションを生み出すための継続的な研究開発の取り組みが強く求められています。

課題: AI のオブザーバビリティの必要性

データ サイエンティストや ML エンジニアにとって、ML モデルの精度とパフォーマンスを確保することは最優先事項です。ただし、責任を持って ML をデプロイするためには、モデル検証プロセスの一環として、バイアス、偽の特徴、モデルの堅牢性をチェックすることも重要です。デプロイ後もモデルが意図したとおりに動作し続けるかを確認することが非常に重要です。主な課題は、ML の実務担当者がそのようなチェックを行うための使いやすいツールを持っていないということです。これらの問題を個別に解決するために設計されたオープンソースのツールキットはいくつかありますが、ML の実務担当者には、そのようなツールをワークフローに簡単に統合し、モデルを管理するための一貫したエクスペリエンスを得る方法がありません。つまり、お客様は、AI を利用したビジネス指標が時間の経過とともに影響を受けず、特に規制要件の高い領域において ML が責任を伴った状態で導入されるようにするために、モデル検証、モデル モニタリング、モデル ガバナンスを行うことができる高度なツールを必要としているのです。

ソリューションのアプローチ: Fiddler の AI オブザーバビリティ プラットフォーム

Fiddler は Google Cloud と提携し、モデルが期待どおりに動作していることを確認して、パフォーマンス低下の根本原因を特定するための、統一された使いやすい一括表示機能をお客様に提供しています。Fiddler の AI オブザーバビリティ プラットフォームは、MLOps チームがデプロイ前にモデルを検証し、デプロイされたモデルの問題をタイムリーに検出することで、モデルの継続的なパフォーマンス維持、規制の遵守、責任ある AI 原則への適合を保証します。Fiddler は、ML に対する継続的な運用上の可視性を提供し、どのような理由に基づいて予測が行われたかを把握できるようにして、モデルを改善するための実用的な分析情報をチームに提供することで、ML 実務担当者の生産性向上と、問題の検出と解決に要する時間の短縮を実現します。一流銀行、フィンテック企業、その他の規制対象業種の企業は、ML の運用を可視化するだけでなく、AI / ML のリスク管理において規制を遵守するために Fiddler を使用しています。

Fiddler AI + Google Cloud

Fiddler は、AI / ML 実務担当者が AI モデルをモニタリング、説明、分析するための一括表示画面として機能します。そのため、Google Vertex AI やその他の Google Cloud ML サービスに AI をデプロイするお客様は、Fiddler を活用して信頼性が高く責任ある AI アプリケーションを構築できます。

Fiddler のモニタリング インテグレーションは、Python ライブラリを使用した簡単な 2 ステップのプロセスです。

• Vertex AI Feature Store、BigQuery、Cloud Storage からトレーニング データ サンプルを取り込みます。Fiddler は、説明の計算やモニタリングの実行時に、このデータをベースラインとして使用します。
• モデルが行った推論を Fiddler に公開します。まず、推論データを Vertex AI Feature Store、BigQuery、または Cloud Storage に取り込み、次に保存された推論データを Fiddler に公開する必要があります。

さらに、Fiddler の説明可能性の機能を最大限に活用するには、トレーニング済み ML モデルを Vertex AI Model Registry からアップロードする必要もあります。Fiddler は、アップロードされたモデルを使用して、モデルの挙動を忠実に説明し、特徴アトリビューションをリアルタイムで計算します。

実社会へのインパクト

米国のトップ銀行、フィンテック、e コマース、人材開発、その他の Fortune 500 企業は、Fiddler を使用してモデルの予測の説明、デプロイされたモデルのモニタリングを行い、問題が検出された場合には根本原因の分析を実行して、モデルに関連するリスクを管理しています。

モデルのリスク管理: AI に不透明性があると、リスクにさらされ、コスト効率が悪くなります。トップ 5 の銀行が Fiddler と提携し、説明可能なモニタリングの実装、リスクの軽減、業務の非効率性の解消を実現しています。特に、銀行では、規制監査とコンプライアンス上の理由から、複数の事業部門にわたって本番環境にデプロイされた ML モデルをモニタリングする必要がありました。さらに、複数の冗長な ML サービング システムが事業部門にまたがって導入されていたため、過度なメンテナンス オーバーヘッドが発生し、一元管理に関するベスト プラクティスと監視メカニズムが欠如していました。Fiddler と提携することで、データ サイエンティストはトレーニング済みモデルを Fiddler にアップロードし、モデル バリデータによってリスクとバイアスについてモデルのレビューとテストが行えるようになりました。モデルが検証され、本番環境にデプロイされると、Fiddler は時間経過に伴うモデルのパフォーマンスと挙動に関する分析情報を提供します。この一元化されたプラットフォームが提供するモニタリングと整合性により、追跡されていない本番環境モデルのリスクと、事業部門にまたがる複数のサービング システムを構築・維持するために要していた費用とオーバーヘッドの両方が解消されました。これらを合わせると、節約効果は年間数百万ドルにのぼると予測されています。

不正行為の検出: e コマース プラットフォームにおいてユーザーの信頼と運用効率を維持するためには、不正行為の検出が不可欠です。従来の不正行為検出システムは、運用担当者が手作業で不正の可能性のあるケースをレビューするルールベースのロジックに依存しており、管理できないルールや例外も多く発生していました。Fiddler は、ある大手 e コマース企業がこのような従来のシステムから ML ベースの不正行為検出システムに移行するのを支援しました。不正行為検出チームのデータ サイエンティストは Fiddler と提携し、以前のルールベースのシステムと比較して精度が向上した、誤検知の少ない独自の購入者不正行為分類モデルを構築しました。Fiddler の説明と分析情報は、特定の取引が不正行為として分類された理由をエージェントが理解する際に効果を発揮します。Fiddler を使用することで、チームは不正なトランザクションのレビュー プロセスの速度を大幅に向上させることができ、エージェントが社内の関係者や顧客により良いフィードバックを提供できるようになりました。

モデルのドリフトの検出と解決: ML モデルの挙動のドリフトをタイムリーに検出して解決することは、モデルを本番環境にデプロイしているすべての企業が直面する重要な問題です。このような問題を検出して解決するための信頼できるツールがないと、収益や利益などのビジネス指標に大きな影響を与えるだけでなく、風評リスクやサービス品質の低下を招く可能性があります。Fiddler は、e コマース企業向けに特化した大規模なビジネス分析とデータ サイエンス プラットフォームを提供する企業と提携しました。同社は、デプロイされたモデルのモニタリングを十分にカバーするツールを持たないまま、本番環境の ML モデルの数を増やしていました。その結果、モデルのパフォーマンスに関するタイムリーな分析情報が見落とされることがあり、本番環境の問題に対して事前にリソースを配分するのではなく、むしろ事後的な対応になっていました。Fiddler MPM プラットフォームは、自動化ツールと標準化ツールを採用することで、この企業のモデル ライフサイクル管理とデータ理解能力の向上に貢献しました。特に、Fiddler は同社が次のことを可視化するのを支援しました。

• モデルの予測、変更、その他のイベント
• モデルの長期にわたるパフォーマンスの記録（モデル予測についての信頼できる唯一の情報源）。
• モデルのパフォーマンスの問題を分析し、デバッグするための一元化されたツール
• 標準化されたモデル解釈

また、Fiddler によってチームはモデルをいつ、どのくらいの頻度で再トレーニングするかを判断できるようになり、ひいてはモデルのメンテナンスとガバナンスの手順も改善しました。

組み合わせによる相乗効果: Fiddler AI + Google Cloud

Google Cloud 上で実行される Fiddler AI により、Fortune 500 企業や AI / ML モデルを採用しているその他の企業は、デプロイ前のモデルの検証、デプロイされたモデルで発生する問題の検出と解決、説明可能な AI を活用した根本原因の分析を行うことで、確実にモデルのパフォーマンスを維持し、規制を遵守しながら責任ある AI 原則を満たすことができます。

近年、LLM やその他の生成 AI ベースのアプリケーションにより、ビジネスを活気づける新しい可能性が見出され、業界全体の企業のユースケースに進展が見られます。ただし、生成 AI モデルとアプリケーションには、適切な AI の安全性とモニタリング メカニズムが切実に求められています。Fiddler は、堅牢性監査、エンべディング、入力、出力モニタリング、その他の責任ある AI 機能を一括表示画面に統合することで、Google Cloud 上のこれらの高度な AI デプロイの可視性をシームレスに拡張できます。

Google Cloud のオープンで革新的な生成 AI パートナー エコシステムと Google Cloud 上の Fiddler について、ぜひ詳細をご確認ください。

ー Fiddler AI、Krishnaram Kenthapadi 氏

ー Google Cloud、AI / ML パートナー エンジニアリング担当ディレクター、Dr. Ali Arsanjani