データ サイエンスと AI チームの価値の計測と最大化

※この投稿は米国時間 2022 年 2 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

人工知能（AI）への投資は、組織に競争上の優位性をもたらしてくれる可能性があります。AI もしくはデータ サイエンス チームの責任者であったならば、自分がもたらす価値を見極め、最大化したいと思うはずです。ここでは、長年にわたるこの分野での経験に基づくアドバイスを紹介します。

プロジェクトを実行に移す際のチェックリスト: 

プロジェクトを実行に移すときは、以下のエリアをカバーするようにしましょう。

• お客様がいること。自分の行う業務にはお客様がいて、そのお客様は自分が成し遂げようとしていることに賛同している、これが重要です。お客様にどのような価値を提供するのかを正しく把握しましょう。

• ビジネスケースを用意する。  これは推定や仮説を頼りに行う作業で、場合によってはほんの数分で完了します。  ビジネスケースは常に見直していくべきですが、なにを基準にチームの取り組みを正当に評価するのか、自分自身（およびお客様）はなにを得るのかをいつも念頭に置きましょう。

• どの手順を変更または構築するかを把握する。本番環境で動作させることを考えるときには、どのビジネス オペレーションに変更が生じるのか、または自分の業務の周辺でどのようなビジネス オペレーションが発生するのかを明らかにし、実現のために誰に関わってもらう必要があるのかを知ることが重要です。

• 計測プランを用意する。現在進行中の取り組みが、関連するビジネス指標に影響を与えていることを示したいときには、段階的に成果を計測して示しましょう。プロジェクトがなければそのままだったものが、プロジェクトのおかげでどれほど変化したかを証明することが計測の目的です。時期による変動や計測に影響を及ぼす可能性のある他のビジネス上の変更といった、その他の要素も忘れずに考慮に入れましょう。

• 以上のすべての要素を活用して、チームや業務のために組織からの支持を取り付けましょう。

活用すべき計測方法とは

業務を開始したときに、チームの作業が組織にとって役立つものであることを示すために、どのような計測方法や指標を活用できるでしょうか。

意思決定を行う回数はどのくらいか。ML の主な機能は、意思決定を自動化および最適化することです。たとえば、どのプロダクトをおすすめするべきか、どのルートに進むべきかといった内容の意思決定です。ログを活用して、システムが行っている意思決定の数を追跡してみましょう。

収益や費用に対する変化はどの程度か。より的確かつ迅速な意思決定は、収益の増加やコストの削減につながる場合が多くあります。可能な場合はそうした数値を直接的に計測し、難しい場合は概算で見積もってみましょう（たとえば、移動の距離が短くなったことで節約できた燃料費や、パーソナライズされたサービスによって増加した購入件数など）。

たとえば、イリノイ州雇用対策課では Contact Center AI を活用して仮想エージェントを迅速にデプロイし、100 万人以上の市民からの失業保険の申請に対応しています。チームは成果計測のために、以下の 2 つの数値を追跡しました。  （1）対応したウェブからの問い合わせおよび音声通話の件数。（2）導入後のコールセンターの全体的な費用。導入後に処理した電話やウェブからの問い合わせ件数は 1 日あたり 14 万件を超え、さらに、4 万件以上の営業時間外の電話にも対応しています。イリノイ州は、IDES の仮想エージェント データの初期分析に基づいて、年間約 1 億ドルの節約を見込んでいます（詳しくは事例紹介のリンクをご覧ください）。

実装コスト。収益増加やコスト削減には、実装した成果物にどれほどの費用がかかっているかという側面も関係します。チームが負担するテクノロジーの費用を示し、そのうえで、それ以上の価値をより効率的に提供する方法を示すことができれば理想的です。

どのくらいの時間を節約できたか。  たとえば、チームが経路設定システムを構築していれば移動時間を削減できますし、メールの分類システムを構築していれば読む時間を削減できます。システムの効率化のおかげで組織に還元できた時間を数値化しましょう。

医療現場では、より迅速な診断が重要です。ジョンズ ホプキンス大学の Brain Injury Outcomes（BIOS）部門では、脳内出血の研究に焦点を当て、医療成果の向上を目指しています。チームは、分析情報の取得にかかる時間がビジネスの成功を測るうえでの主要な指標であると考えました。チームはイテレーションの迅速化を目指し、分散型トレーニング向けに Dataflow、Cloud Healthcare API、Compute Engine、AI Platform などのさまざまなクラウド コンピューティング ソリューションを試行しました。その結果、500 人の患者のスキャンから分析情報を取得するまでに要した時間が、2,500 時間から 90 分に短縮されたことが最近の研究で明らかになっています。

いくつのアプリケーションをチームでサポートできるか。組織の運営においては、ML を活用しないところも（会計台帳の調整など）、活用するところもあります。組織内のどの部分が、チームが生み出す効率化や自動化の恩恵を受けられるのかを把握しましょう。

ユーザー エクスペリエンス。苦情の減少、レビューの向上、レイテンシの低減、インタラクションの増加などから、カスタマー エクスペリエンスを測定できる場合があります。これは、外部および内部のどちらのステークホルダーにとっても有用です。Google では使用量を計測し、内部システムまたはプロセスに対するフィードバックを定期的にもらっています。

Google のお客様であるメンフィス市は、VisionAI と ML を使用して、よく起こるけれども非常に対応が難しい道路の穴の特定と処理という問題に取り組んでいます。  実装チームは、道路の穴を特定できた割合の増加率、さらにその正確性とコスト削減という点を主要な指標ととらえました。このソリューションでは一般車両の映像を取り込んで、Compute Engine、AI Platform、BigQuery のような Google Cloud 機能を活用し、動画のレビューを自動化しています。  このプロジェクトでは、道路の穴の検出率が 75% アップし、精度は 90% 以上向上しています。こうした成果を計測しはっきり示すことで、チームは優れた費用対効果かつクラウドベースの機械学習モデルの実行可能性を証明できました。さらに、メンフィス市では公共サービスをより向上させるために AL や ML の新たなアプリケーションを模索しており、652,000 人の住民のよりよい未来の構築を目指しています。

謝辞

Filipe と Payam は、同僚でありこの投稿の執筆に等しく貢献した共著者の Mona Mona（AI/ML カスタマー エンジニア、ヘルスケアとライフサイエンス）に感謝します。