USAA と Google Cloud: 機械学習を活用した保険業務のモダナイゼーション

※この投稿は米国時間 2022 年 3 月 1 日に、Google Cloud blog に投稿されたものの抄訳です。

多くの自動車保険会社にとって、損傷した車両の画像から、実際の自動車部品の修理や交換を予測するまでを自動化したソリューションを提供することは、なかなか実現できない夢でした。こうしたソリューションがあれば、修理のプロセスが合理化されるだけでなく、修理の監査可能性が高まり、全体的な費用対効果が向上するでしょう。保険業界の革新的リーダーと名高い USAA は、その評判どおりに、物事のやり方を変更するときが来たと判断して Google と提携し、全自動での請求処理という夢を現実のものにしました。

Google と USAA は、損傷を受けた箇所や部品を画像から特定する取り組みで、以前にも提携しています。しかし、USAA のビジョンは単なる特定にとどまりませんでした。USAA は、自社のデータと優れたカスタマー サービスの専門知識を、Google の AI 技術と業界の専門知識に組み合わせることで、破損した車の写真と部品のリストをマッピングし、その部品を修理または交換すべきかを特定するサービスを実現できることに気付きました。修理が必要な場合、現地の人件費を考慮したうえで修理にかかる時間も予測できるようになりました。

これにより、USAA の業務を合理化し、請求処理のワークフローを改善する機会が提供され、最終的にお客様と鑑定士のエクスペリエンスがより円滑なものになるという結果につながりました。Google は、提携期間の 16 か月の間に、ベースライン モデルと比較してピーク時で 28% の機械学習（ML）パフォーマンスの向上を達成しました。また、リアルタイムおよびバッチ予測機能を提供する最新の ML 運用インフラストラクチャを作成し、完全な再トレーニング パイプラインを開発して、USAA が引き続き成功できるように調整しました。

このプロジェクトがどのように行われたかを理解するために、Google のデリバリー チームが、USAA が業界のリーダーである理由が改めて示されたアプローチ、アーキテクチャ設計、および基礎となる AI 手法について説明します。

AI の業界専門知識を活用した主導

Google Cloud の AI 業界ソリューション サービスチームは、ソリューションはお客様中心かつ USAA のサービス第一の価値観と一致するものでなければならないという USAA のビジョンの重要なポイントを認識したうえで、ソリューションの開発と導入の両方に焦点を当てて、問題を複数の、多くの場合に並行したワークストリームに分解しました。

1. 利用可能なデータを検出して評価する

2. さまざまなモデリング アプローチと設計済み特徴について理解を深める

3. モデル提供インフラストラクチャを作成する

4. 高度なモデル再トレーニング パイプラインを実装する

5. USAA のモデル検証プロセスをサポートする

6. エンゲージメントの監視と継続的なアドバイザリを提供する

「Google と USAA のパートナーシップにより、メンバーのサポートを強化するためのテクノロジーの手法を学び、可能な限り最適なエクスペリエンスを推進し続けることができました」と USAA リード エクスペリエンス オーナーの Jennifer Nance 氏は説明します。

この業務を成功させるには、専門家チームを結集することが重要でしたが、その専門家たちは、USAA のためにカスタム AI ソリューションを構築できるだけでなく、ビジネス プロセスや規制当局の調査を通過するために何が必要かを理解できる必要がありました。

モデルの構築

USAA と Google は以前、Google Cloud 上にホストされる REST エンドポイントとして提供されるサービスを開発しました。画像の写真を撮影して、車両の損傷部分の詳細を返すものです。このシステムは、追加の修理や交換を行ったり、修理にかかる工数の見積もりを提示したりするために拡張する必要がありました。

関連データの特定

コンピュータ ビジョン サービスの出力は非常に重要ですが、修理や交換の判断や工数の見積もりを行うには十分ではありませんでした。車両モデル、年式、主な損傷箇所、郵便番号など、車両や保険金請求に関する追加の構造化データは予測のための有用なシグナルとなる可能性があります。たとえば、メーカーやモデルによっては、入手が容易でない部品が含まれていることがあるため、「交換」よりも「修理」が適している場合があります。USAA と Google は、業界の知識と問題への精通度を活用し、利用可能なデータを探索してモデル開発の出発点にたどり着きました。

データのクリーニングと準備

追加のデータセットを特定した後、機械学習のために構造化データと非構造化データの両方を準備する必要がありました。

非構造化データには数百万枚の画像が含まれており、既存の USAA と Google のコンピュータ ビジョン API を使用してそれぞれの画像のスコアを計算する必要がありました。その後、スコア計算プロセスの結果を Google Cloud BigQuery に格納することで、修理や交換、工数モデルの特徴として使用できました。もちろん、モデル スコアリング API で何百万枚もの画像を送信するのは容易なことではありません。サーバーレスの Apache Beam ランナーである Google Cloud Dataflow を使用してこれらの画像を処理しました。Dataflow を使用することで、ビジョン API の割り当てを尊重しながら多くの画像を並行してスコア計算できました。

構造化データは、お客様から報告された衝突に関する情報（衝突地点、車両の運転性など）と車両自体に関する情報（メーカー、モデル、年式、オプションなど）で構成されていました。このデータはすべて、USAA の BigQuery ベースのデータレイクですぐに利用できました。チームはこのデータをクリーニングおよび正則化し、モデル トレーニング用に単一の共通テーブルへと変換しました。

「Vertex AI の AutoML への入力として単一のテーブルがあることは、1）複数のデータベースやすべての異なるデータソースを検索する代わりに、1 か所で入力データを参照できる、2）データを再トレーニングする際に、データの指標と分布を簡単に比較できる、3）規制目的のためにデータのスナップショットを簡単に作成できる、という 3 つの理由で有用です。」  と USAA データ サイエンス リーダーの Lydia Chen 氏は述べています。

ベースラインの作成

関連するデータソースを特定、クリーニング、作成した後、修理や交換の判断および工数見積もりの両方の初期モデルを作成し、Vertex AI の構造化データ向け AutoML を使用してベースラインを確立しました。修理や交換の判断モデルの指標には、両方のクラスを平等に考慮する受信者操作特性曲線の下の面積（AUC ROC）を選択し、工数見積もりモデルの指標には、数字を的確に把握できる二乗平均平方根誤差（RMSE）を選択しました。Vertex AI の AutoML モデルの評価指標について詳しくは、こちらをご覧ください。

これらのモデルは、画像データと構造化データの両方を単一のシステムに接続する適切な方法を特定するために数回のイテレーションが必要でした。最終的には、これらのステップによってこの問題に対するソリューションが実行可能であり、イテレーションによって改善できることが証明されました。

特徴量のエンジニアリング

特徴量エンジニアリングは常に反復のプロセスであり、ソース データセットから可能な限り予測能力を引き出すことを目的としたさまざまな手法により、既存データを変換して新しいモデル入力を作成します。Google は、提供された既存データから、現在のモデル パフォーマンスに基づく複数の仮説を立て、そうした仮説を裏付ける新しい特徴を構築し、その特徴によってモデルが改善されるかどうかをテストしました。

このイテレーションでは、多くのモデルをトレーニングし、各モデルでグローバルな特徴重要度を生成することが必要でした。ご想像のとおり、特に適切なツールセットがない場合、このプロセスはかなり時間がかかる可能性があります。新しい特徴をスクリーニングできるモデルを迅速かつ効率的に作成し、USAA の納期を守るため、Vertex AI の構造化データ向け AutoML を引き続き使用し、コードを修正せずに新しい特徴のセットを迅速にプロトタイピングできるようにしました。この迅速かつ簡単なイテレーションが成功への鍵でした。

ドメインに関する専門知識も特徴量エンジニアリングのプロセスにおける重要な要素の一つでした。Google Cloud の AI 業界ソリューション サービスチームは、保険に関する深い専門知識を持ち、機械学習の経験のあるエンジニアとコンサルタントを複数名仲間に迎え入れました。こうした専門知識や経験と、USAA が経験から得た知識を組み合わせることで、「素晴らしい」特徴がいくつも生まれました。簡単な例では、ある部品を修理または交換する必要があるかどうかをモデルに尋ねる際、同じ衝突事故における同じ車の他の破損部品の情報も合わせて提示されます。

最終的に、特徴量エンジニアリングのプロセスがモデル パフォーマンス向上のための最適なソースであることが証明されました。

最適化されたモデルの作成

後のワークストリームで運用化するのに最適なモデルを特定することに重点を置き、今回の共同作業中に 3 つの別々のモデリング アプローチをテストしました。迅速にテストを実行するために、これらのアプローチには Vertex AI の構造化データ向け AutoML モデル、K 近傍法（K-NN）モデル、TensorFlow Extended（TFX）で作成された Tensorflow モデルが活用されました。これらのモデルでは、6 つの車種（クーペ、ハッチバック、ミニバン、セダン、SUV、トラック）を網羅する必要がありました。選定基準には、モデル パフォーマンス、改良の可能性、メンテナンス、レイテンシ、運用化の簡単さが含まれました。

Vertex AI の構造化データ向け AutoML は、自動化されたアーキテクチャとパラメータ検索を使用して、コードをほとんどあるいはまったく記述することなく最適なモデルを検出してトレーニングし、Vertex AI Prediction エンドポイントとしてワンクリックのデプロイを提供するため、モデルの運用化とメンテナンスがかなり簡単になります。平均して、AutoML モデルは、修理や交換の判断においてベースラインのモデルよりも 6.78%、工数見積もりにおいてベースライン モデルよりも 16.7%、それぞれでパフォーマンス向上を実現しました。

また、チームは「Damage Like Yours（類似した損傷）」というアイデアをテストするために K-NN モデルの構築とテストについても詳しく調査しました。USAA により類似の自動車保険請求を含む豊富なデータセットが提供されたため、同様の損傷の修理には同等の時間がかかるはずだという仮説が成り立ちました。最新のアルゴリズム（FAISS、引用）を使用してレイテンシ（K-NN モデルには長い推論時間が必要です）と精度のバランスを取るために近似検索を実装しました。平均で、K-NN モデルでは修理や交換の判断においてベースライン モデルよりも 8.51%、工数見積もりではベースライン モデルよりも 4.03%、それぞれでパフォーマンスが低下しました。

最後に、モデルビルダーがモデル アーキテクチャとハイパーパラメータのチューニング プロセスを完全に制御できるように、すべての車種にわたる単一のモデルについて Tensorflow と TFX を使用することを検討しました。また、Vertex AI Vizier を使用してハイパーパラメータを最適化し、トレーニング済みの TensorFlow モデルを Vertex AI Prediction エンドポイントとしてデプロイするのも容易になり、デプロイも比較的簡単になります。平均して、TensorFlow モデルは、修理や交換の判断においてベースライン モデルに対して 6.45%、工数の見積もりにおいてベースライン モデルに対して 16.1%、それぞれでパフォーマンス向上を実現しました。

Google は、ワークストリームの終了までに、4GB のデータを処理し、5,000 行以上のコードを記述し、20 の新しい特徴を設計し、運用化に最適なモデルを探し求めて 120 以上のモデルを作成しました。Vertex AI の AutoML と TFX のモデリング アプローチは両方とも非常に高いパフォーマンスを発揮し、驚くほど類似した結果を示しました。それぞれのモデルがデータのさまざまなスライスにおいてもう片方のモデルを凌駕しました。最終的に、USAA は Vertex AI の AutoML を使用していくことに決めました。最も一般的な車種に対して優れたパフォーマンスを発揮しながら、Vertex AI の AutoML ベースのモデルを長期にわたって管理、維持、改善していく管理業務の負担が少ないことがその理由です。Vertex AI の AutoML は、ベースラインを作成するのに最適な方法であることに加え、運用化に最適なモデルも提供しました。

「比較のために評価した TFX、KNN、Vertex AI の AutoML モデルには、入力として同じ特徴量を使用しました。それから、USAA のビジネス上の優先順位に基づいたこれらのモデルの最適化と評価のために、具体的なモデル パフォーマンス指標が使用されました。最終的には、AUC ROC や RMSE を含む評価指標でのパフォーマンスに基づいて、Vertex AI の AutoML が選ばれました。Vertex AI の AutoML は、さまざまな ML アルゴリズム、モデル アーキテクチャ、ハイパーパラメータ、アンサンブル手法、設計済み特徴を自動的にイテレーションすることで指標を最適化します。実質的に、何千ものチャレンジャー モデルを同時に作成していることになります。Vertex AI の AutoML のおかげで、手作業で一つずつモデルを構築するよりも、特徴量エンジニアリングに集中できます」と Lydia Chen 氏は述べます。

本番環境インフラストラクチャの作成

モデルの提供

Vertex AI の AutoML ベースのアプローチを選択した後、再トレーニング パイプラインに組み込むことができる Vertex AI を活用した本番環境で利用可能なモデル提供インフラストラクチャを作成しました。これには、API コントラクトの定義、すべての車種を網羅し、オンラインとバッチの両方で「修理」と「交換」の分類を構成可能な % しきい値で可能にする API の開発が含まれました。分類判断が「修理」であった場合、API は請求見積もりレベルでの下位区分に関連する工数の予測も提供することになります。特徴の重要度に達するために、Vertex Explainable AI 内にあらかじめ用意されている機能を活用した説明可能性を取り入れました。テストケースと 1,200 行以上のコードを記述した後、機能を確認し、Terraform モジュールを使用して API を Cloud Functions に自動デプロイするための提案をしました。

モデルの再トレーニング

モデルが本番環境に実装されたら、新しいデータに基づいてモデルを再トレーニングすることが重要です。USAA では年間数百万件の新規申請を処理しているため、新しい部品や損傷のある新車両は、このようなモデルにとって常に大きな課題です。そのため、モデルを適切に再トレーニングするプロセスのなかで、時間をかけてこうした新しいデータから学ばせ、適応させることが重要でした。しかし、モデルの再トレーニングとプロモーションには、チェンジ マネジメントのリスクがつきものです。チームは、Vertex AI Pipelines と Vertex ML Metadata を使用して、新しく取り込まれたデータですべてのモデルを再トレーニングし、関連するすべてのモデル アーティファクト（データ、モデル、指標など）の系統を追跡し、モデルを本番提供環境に促進するための監査可能な自動化プロセスを確立することを選択しました。

Google は、汎用的な Vertex AI パイプライン定義を 2 つ作成しました。修理や交換の分類モデル 6 つ（車種ごとに 1 つ）を再トレーニングできるものと、修理工数回帰モデル 6 つ（車種ごとに 1 つ）を再トレーニングできるものです。どちらのパイプライン定義も、以下のステップをオーケストレーションすることで、12 のモデル全体で MLOps のベスト プラクティスを適用しました。

1. Vertex AI マネージド データセットの作成

2. AutoML モデルの Vertex AI トレーニング

3. Vertex AI モデル評価（分類特有または回帰特有）

4. Vertex AI Prediction エンドポイントへのモデルのデプロイ

2 つの Vertex AI パイプライン定義に加え、12 個の「モデル構成」JSON ファイルを活用して、入力トレーニング データの場所、最適化関数、トレーニングの予算など、モデル特有の詳細を定義しました。実際の Vertex AI パイプラインの実行は、Vertex AI パイプラインの定義とモデル構成を実行時に組み合わせて作成されます。

これらの再トレーニング パイプラインを適切な周期でトリガーするために、Cloud Scheduler、Cloud Pub/Sub、Cloud Functions を組み合わせてデプロイしました。このアーキテクチャにより、USAA が求める 3 つのトリガー方式（スケジュール、イベント ドリブン、手動）が実現可能になります。スケジュール トリガーは、USAA のデータ速度に応じて簡単に構成できます。イベント ドリブン トリガーにより、貴重な新データがトレーニング用に利用可能になった場合などに、アップストリーム プロセスで再トレーニングのトリガーが可能になります。そして、手動トリガーにより必要なときに人間が適宜介入することが可能になります。

また、Vertex Pipelines の定義と上述のトリガー アーキテクチャのテスト、コンパイル、デプロイを自動化するための CI / CD パイプラインも作成しました。

本番環境では、モデル固有の Vertex AI パイプラインの実行結果は、Vertex AI で新たにトレーニングされた AutoML モデルであり、新たにデプロイされた Vertex AI Prediction エンドポイントによって提供されます。その後、新たにトレーニングされたモデルのパフォーマンス指標は、Vertex AI Pipelines のユーザー インターフェースを使用して既存の「チャンピオン」モデル（現在サービス提供中）と簡単に比較できます。新しいモデルを本番環境を提供するインフラストラクチャに昇格させるために、USAA のモデル管理者は、新しい Vertex AI モデルとエンドポイント ID でモデル提供リポジトリ内のバージョン管理された構成ファイルを手動で更新する必要があります。このアクションにより CI / CD パイプラインがトリガーされ、前のセクションで説明したように、最終的に新しいモデルをユーザー向け API に昇格させます。人間参加型の昇格プロセスにより、USAA は自社のモデル ガバナンス ポリシーを遵守できます。

「Google PSO チームと提携して、モデルの運用化、データソースとの統合、トレーニング パイプラインの再現を効率的に行うためのカスタマイズされたアプローチを開発しました。これらを実施するにあたり、Vertex AI プラットフォームを活用しました。このプラットフォームでパイプラインの各段階をコンポーネント化した結果、迅速に運用をテストおよび検証できるようになりました。オペレーションの各段階が微調整され、効率的に動作するようになると、CI / CD システムに実装を統合するのは簡単でした。金融サービス企業として、モデル ガバナンスや環境に導入される可能性のあるリスクに対する USAA の説明責任はさらに大きくなっています。トレーニング パイプラインの明確なイメージを持つことで、パートナーに明瞭性を示すことができます」と USAA 戦略イノベーション ディレクターの Heather Hernandez 氏は述べます。

モデルのリスク管理と責任ある導入をサポート

歴史的に、保険業界におけるアルゴリズムの使用は、州レベルの規制当局の承認が必要でした。しかし 2008 年以降、業界の一部では SR 11-07 に基づく連邦レベルでの監視がさらに厳しくなり、機械学習モデルが自社のビジネスにもたらす可能性のあるリスクと、利用可能な緩和策を理解することが求められるようになりました。これにより、機械学習モデルの開発と実装のプロセスが一段階増える一方で、機械学習を活用することで生じるリスクや影響を理解および管理できるという点において、他の業界をリードできます。

Google Cloud の AI 業界ソリューション サービス チームは、金融サービスのモデルリスク管理における豊富な経験を活用して、USAA のモデルリスク管理サービスと統合し、同サービスの規則を遵守しながら、新システムの文書化と数値化を行いました。このユースケースでも、Google Cloud の責任ある AI ガバナンス プロセスの一環として、パートナーシップの初期段階から倫理的分析を受け、潜在的なリスク、影響、機会を評価し、Google の AI の原則との整合性を推進しました。Google と USAA は共同でモデルリスクに関するドキュメントを 300 ページ近く作成し、システムの利用規定を完全に文書化および数値化しました。

真の成功はソリューションの開発だけにとどまらないという認識のもと、Google チームはさらに 6 か月分に相当するオフィスアワーとサポートを提供し、USAA のチームからのソリューションに関するあらゆる疑問に答え、使用および導入を最大限にサポートしました。

Google Cloud AI 業界ソリューション サービスとの連携

Google Cloud AI 業界ソリューション サービスは、クラウド ソリューションを使用して企業のお客様や業界の変革をリードしています。Vertex AI を無料でお試しいただくには、こちらをご覧ください。また、Google がどのようにお客様のビジネス変革を支援するかについての詳細は、Google Cloud のセールスチームまでお問い合わせください。

^謝辞

^{この投稿は、記載されている著者とその他のデリバリー チーム（Jeff Myers、Alex Ottenwess、Elvin Zhu、Rahul Gupta、Rostam Dinyari）によって執筆されました。すべてのメンバーがこのプロジェクト展開の成功に大きく寄与しました。}

^{また、この提携を通して密接に協力してくれた USAA のチーム（Heather Hernandez、Brian Katz、Lydia Chen、Jennifer Nance、Pietro Spitzer、Mark Prestriedge、Kyle Sterneckert、Kyle Talbott、Bertha Cortez、Jim Gage、Erik Graf、Patrick Burnett）に感謝します。このプログラムを実現したアカウント チームのメンバー（Cindy Spess、Charles Lambert、Joe Timmons、Wil Rivera、Michael Peter、Siraj Mohammad）、リーダー（Andrey Evtimov、Marcello Pedersen）、Deloitte と Quantiphi のパートナー チームのメンバーにも敬意を表します。}