LiveX AI: GKE と NVIDIA AI でトレーニングおよびサービングされる AI エージェントによりカスタマー サポートのコストを最大 85% 削減
Jia Li
Co-Founder, Chief AI Officer, LiveX AI
Shubhika Taneja
Product Marketing Manager, Google Kubernetes Engine
※この投稿は米国時間 2024 年 7 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。
満足のいく顧客体験を提供することは消費者向け企業にとって重要な競争優位性ですが、その実現にはさまざまな課題が伴います。ウェブサイトに訪問者を呼び込んだとしても、そのサイトに個々人への配慮が欠けていると、訪問者を顧客に変えるのが難しくなります。コールセンターの運営にはコストがかかります。また、通話の件数が多いと待ち時間が長くなり、顧客の気分を害してしまいます。従来型の chatbot はコールセンターよりも拡張が容易ですが、顧客体験という点で人間同士の実際の対話には遠く及びません。
LiveX AI は生成 AI テクノロジーの最先端に立って、見る、聞く、話す、見せるといった機能を備えたマルチモーダルのカスタム AI エージェントを構築し、人間とほとんど変わらない顧客体験を生み出します。経験豊富な起業家と著名な技術リーダーから成るチームによって創業された LiveX AI は、信頼の置ける AI エージェントを各企業に提供しており、さまざまなプラットフォームにわたる強力な顧客エンゲージメントを実現しています。
LiveX AI の生成 AI エージェントは、人間と接しているかのような没入感のある顧客体験をリアルタイムで提供し、顧客の質問や懸念に対して、有用なリアルタイムの解決策を親しみやすい会話形式で提供します。また、ユーザーに優れた体験を提供するには、エージェントが堅牢かつ高速である必要があります。そうしたユーザー エクスペリエンスを生み出すには、多くの AI エージェントにありがちな応答の遅れをなくすことのできる高性能でスケーラブルなプラットフォームが必要です。特に、問い合わせの件数がピークを迎えるブラック フライデーのような期間中はなおさらです。
高度な生成 AI アプリケーションのための堅牢な基盤を提供する GKE
Google Cloud と LiveX AI は当初から連携し、Google Kubernetes Engine（GKE）と NVIDIA AI プラットフォームを活用して LiveX AI の開発を一足飛びに進めました。Google Cloud の支援のおかげで、LiveX AI はわずか 3 週間でクライアント向けのカスタム ソリューションを提供できました。さらに、Google for Startups クラウド プログラムと NVIDIA Inception プログラムに参加することで、立ち上げ時のクラウドコストを補うとともに、追加のビジネス リソースと技術リソースの利用権の提供を受けました。
LiveX AI チームは迅速な立ち上げに役立つ堅牢なソリューションを求めていたため、コンテナ化されたアプリケーションを安全でパフォーマンスの高いグローバル インフラストラクチャ上で大規模にデプロイ、運用できる GKE を選択しました。GKE のプラットフォーム オーケストレーション機能により、分散コンピューティングおよびデータ処理フレームワークと GKE との柔軟なインテグレーションを活用しながら、最適化された AI ワークロードを NVIDIA GPU で簡単にトレーニングおよびサービングできます。
とりわけ、GKE Autopilot を使用すると、さまざまなクライアントにアプリケーションを簡単にスケールできます。特に、顧客とのリアルタイムのやり取りを大量に抱えるブランド向けにマルチモーダルの AI エージェントを構築する際に便利です。Kubernetes クラスタの基盤となるコンピューティングは GKE Autopilot によって管理されるため、構成やモニタリングを LiveX AI が行う必要はありません。GKE Autopilot のおかげで、LiveX AI は TCO を 50% 以上削減し、市場投入までの時間を 25% 短縮し、運用コストを 66% 削減できました。これにより、システムの構成やモニタリングではなく、クライアントに価値を届けることに集中できるようになりました。
GKE Autopilot のおかげで、LiveX AI は TCO を 50% 以上削減し、市場投入までの時間を 25% 短縮し、運用コストを 66% 削減できました。
健康機器の D2C（消費者直販）メーカーである Zepp Health もこうしたクライアントの一つです。同社は LiveX AI と連携して、Amazfit スマートウォッチとスマートリングの米国 e コマースサイト向けに AI カスタマー エージェントを構築しました。このエージェントでは、大量の顧客とのやり取りをスムーズに処理し、パーソナライズされたリアルタイムの利用体験を顧客に提供する必要がありました。
GKE は Amazfit プロジェクトにおいて、NVIDIA A100 80 GB Tensor コア GPU を搭載した A2 Ultra VM と NVIDIA NIM 推論マイクロサービスと組み合わされました。NVIDIA AI Enterprise ソフトウェア プラットフォームの一部である NIM は、高性能の AI モデルによる推論の安全で信頼性の高いデプロイ向けに設計された使いやすい一連のマイクロサービスを提供します。
Infrastructure as Code（IaC）プラクティスを使用して GKE にデプロイされた NVIDIA NIM Docker コンテナにより、初期デプロイが高速化され、本番環境に移行した後のアプリケーションのアップグレードが効率化されました。NVIDIA ハードウェア アクセラレーション テクノロジは、開発およびデプロイ プロセスに大きく貢献し、ハードウェアの最適化の効果を最大化しました。
また、GKE を NVIDIA NIM および NVIDIA A100 GPU と組み合わせることで、LiveX AI は Amazfit AI エージェントの回答 / レスポンス生成速度を、他の一般的な推論プラットフォームで実行した場合と比較して平均で 6.1 倍に伸ばすという驚異的な高速化を達成できました。さらに、このプロジェクトはわずか 3 週間で完了しました。
NVIDIA NIM と GPU を搭載した GKE で実行すると、Amazfit AI エージェントの回答 / レスポンス生成速度が、他の推論プラットフォームと比較して平均で 6.1 倍も高速化されました
LiveX AI の顧客にとって、これは次のことを意味します。
-
効率的な AI 主導の解決により、カスタマー サポートのコストを最大 85% 削減
-
初回のレスポンス取得時間が、業界標準である数時間からわずか数秒に大幅に改善
-
顧客満足度が向上し、より正確でタイムリーな解決策により返品率が約 15% 低下
-
インテリジェントで実用的な AI エージェントにより、リードのコンバージョン率が 5 倍に増加
Zepp Health の CEO である Wayne Huang 氏は次のように述べています。「Zepp Health は、すべての顧客とのやり取りの中で個々人に合わせた対応を提供することを信条としています。LiveX AI は、Amazfit を購入する顧客にシームレスで魅力的なショッピング体験を提供することで、その精神を実現します。LiveX AI を組み込むことで、ウェブサイトを訪れるすべての訪問者が、ニーズと好みに合わせてパーソナライズされたサポートを受けられるようになります。」
AI イノベーションを推進するコラボレーション
結局のところ、GKE のおかげで LiveX AI は急速に成長し、即座に顧客に価値をもたらす革新的な生成 AI ソリューションを提供できるようになりました。コンテナ化されたアプリケーションをデプロイおよび管理するための安全でスケーラブル、かつ費用対効果に優れたプラットフォームである GKE は、高度な生成 AI アプリケーションの開発とデプロイのための堅牢な基盤を提供します。クラスタの作成と管理を容易にし、デベロッパーの生産性を加速させ、自動スケーリング、ロード バランシング、自己修復機能によってアプリケーションの信頼性を高めることで、開発プロセスを簡素化します。
同時に、Google Cloud と NVIDIA の連携は、生成 AI をより利用しやすくするという Google Cloud の取り組みを具体化するものです。この組み合わせにより、LiveX は顧客に競争優位性をもたらすカスタム AI エージェントを作成し、シームレスなカスタマー サポート、商品の即時のおすすめ、返品率の低下など、パーソナライズされたエクスペリエンスをリアルタイムに提供できるようになります。
Google Cloud と NVIDIA がスタートアップをどのようにサポートできるかについてご興味のある方は、Google for Startups クラウド プログラムと NVIDIA Inception プログラムの詳細をご確認のうえ、ぜひお申し込みください。
