Gemini と Vertex AI で実現する AI バスケットボールコーチ開発の裏側

※この投稿は米国時間 2025 年 5 月 20日に、Google Cloud blog に投稿されたものの抄訳です。

プロ選手のジャンプ シュートは、その人の筆跡と同じくらい特徴的で、見分けるのは簡単ですが、真似するのは難しいものです。そこで、私たちは、AI とリアルタイムのマルチモーダル データ（ライブ動画、センサーデータ、過去の統計情報など）を使用して、膝の曲げ具合からシューティング ハンドの肘の位置に至るまで、高度にパーソナライズされたコーチング分析情報をプレーヤーに提供できないかと考えました。

この記事では、Google I/O で展示された AI バスケットボール コーチを紹介します。これは、Gemini 2.5 Pro をジャンプ シュートのコーチに変身させる、AI を利用した実験的なシステムです。周囲に複数台の Pixel カメラを配置して Vertex AI と組み合わせることで、AI モーション キャプチャ、バイオメカニクス分析、Gemini を活用したテキストと音声によるコーチングを連携させるコーチング システムが構築されます。このデモを初めて行ったのは先月の Google Cloud Next 25 で、数百人の参加者がこのシステムを体験しました。来場者がハーフコートに入り、ジャンプ シュートを数回放つと、AI が処理を開始します。

このデモは、一風変わったバスケットボールの楽しみ方を紹介するだけではなく、複雑な動きを理解する必要がある環境（スポーツ、製造、小売、ロボット工学など）で、生成 AI が非常に効果的であることを明らかにしました。

Gemini をジャンプ シュートのコーチに変える方法

Google がアスリートのコーチングに AI を利用したのは今回が初めてではありません。昨年は、Vertex AI で Gemini と Imagen 2 を利用してプレーヤーのパフォーマンスをリアルタイムで分析し、サッカーの試合技術を磨く試みを行いました。また、米西海岸のペブルビーチでは、AI スイングコーチを用意して、ゴルファーのスイング改良を支援しました。

これらのデモにより、期待値は高くなり、同時に 2 つの重要な教訓も得ることができました。

• Gemini によるフィードバックは、未加工の動画と ML で抽出されたモーション データ（骨格ランドマーク、ボールの軌道、シュートの結果）を組み合わせた場合に最も正確になる。
• AI コーチが最高のコーチから学べるように、プロのコーチから直接得た正確で分野固有のデータを使ってコーチを「トレーニング」する必要がある。

最初の教訓を活かすためには、AI コーチが参加者の動き全体を確実に把握できる必要がありました。それには 360 度ビューが必要だったため、コートの周囲に Google Pixel 9 Pro を 6 台ほど配置して 1080p の動画を撮影しました。こうすることで、プレーヤーのフォーム、ボールの飛翔、そしてコート上での位置を同時に確認できます。

カメラの準備が整ったら、それぞれのスマートフォンで MediaPipe がローカルで実行されるよう設定しました。MediaPipe は、コンピュータ ビジョン向けの Google のオープンソースの ML ライブラリ スイートです。リアルタイムの動画推論（骨格ランドマーク検出、ハンド トラッキング、オブジェクト検出、顔追跡など）のためのオンデバイス モデルを提供し、低レイテンシかつモジュール型のビジョン パイプラインを実現します。優れたパフォーマンスを備え、統合も容易なため、今回のデモに最適でした。

2 つ目の教訓: 分野固有の正確なデータでコーチを「トレーニング」すること

よく言われるように、AI の品質は与える情報の質によって決まります。AI バスケットボール コーチの正確性を確保するために、実際の専門家に話を聞く必要があることはわかっていました。そこで、ゴールデンステイト ウォリアーズのパートナーに相談したうえで、プロのようなシュートを放つための 6 つの重要な基準を定めました。

1. 肘の位置: シュート時にボールをリリースする際のシューティング ハンドの前腕（肘から手首までの軸）が垂直に保たれているかを評価しました。このデータは、精度とシュート力の向上に不可欠です。
2. リリースの高さ: リリース時のプレーヤーの目を基準にした肘の垂直方向の位置を測定しました。このデータは、シュートの軌道とディフェンダーの頭上を越えてシュートを放つ能力に影響します。
3. 膝からつま先までの状態: プレーヤーが膝を曲げてから伸ばしてシュートを放つ動作を開始する際の、下半身の状態と負荷のかかった姿勢を分析しました。このデータは、バランスを保ち、エネルギーを効率的に伝達するために重要です。
4. 弧の高さ: ボールの飛翔経路の最大の高さをトラッキングしました。理想的な弧にすることで、リングに当たってシュートミスになる可能性が少なくなるため、一貫したシュートを実現するうえで重要な要素です。
5. 進入角: ボールがバスケットに入った（または入っていたと仮定される）角度を計算しました。このデータも、シュートの成功率に影響を及ぼします。
6. プレーヤーの位置: Gemini は、プロのショットチャートを基準にコート上のプレーヤーの位置をマッピングし、各ショットの難易度を文脈に沿って説明しました。

適切なデータを入力した後、プレーヤーがシュートを放つと、Gemini 2.5 Pro が処理を開始します。動画をスキャンして、スタンス、かがんだ姿勢、リリース、着地という 4 つの重要なイベントにタイムスタンプを付け、全体的なフォームとボールの軌跡を取り込みます。これらのマーカーによって、肘の位置、リリース時の高さ、膝からつま先までの状態といったバイオメカニクス面の計算が促進され、その結果がユーザーに表示されます。

分析は Google Cloud のサーバーレス プラットフォームである Cloud Run で実行したため、需要に応じて自動的にスケールできました。コードは Vertex AI SDK を介して Gemini を呼び出し、すべてのシュートのデータを Firestore に保存します。Firestore は、準備ができ次第ウェブ UI に結果をフィードする NoSQL データベースです。

最終的に、Gemini Pro がシュートのフォームと結果に関するデータを考慮し、ジャンプ シュートの基本的なガイドライン（PDF に要約したもの）を参照して、示唆に富むアドバイスをわかりやすい言葉で記述しました。モデルには、（単に丁寧であるだけでなく）建設的なトーンを維持するよう指示が出されていました。こうすることで、まるで本物のコーチのようなモデルを実現できました。フィードバックは、音声とテキストの両方で React ウェブアプリのダッシュボード UI に表示されました。また、MediaPipe で生成されたバイオメカニクス データの注釈が付けられたリプレイ動画も同じ場所に表示されました。

NBA と WNBA のデータと比較する方法

デモでは、競争要素を加えるため、参加者のパフォーマンスをリアルタイムのスコアボードでトラッキングしました。ベースラインから 15 フィート離れた場所からのシュートはレイアップほど簡単ではないため、スコアにはその難易度を反映させる必要がありました。NBA と WNBA の 45 万本以上のシュートから参照マップを作成し、BigQuery（Google Cloud のペタバイト規模のデータ ウェアハウス）にインポートして、Vertex AI のプラットフォームでホストされている Colab Enterprise ノートブックで検討しました。このデータは、プロのプレーヤーがコート上のあらゆる場所から決めたシュートの割合を示しています。

デモでは、参加者がシュートを放った瞬間のコート上の XY 座標を取得し、その場所に対応するプロのベースラインを検索して、シュートの難易度を（プロの成功率に基づいて）評価しました。参加者が、プロでも成功率が 40% を下回るような難しいシュートを決めると、スコアが上がります。一方、「簡単な」レイアップを失敗すると、スコアが下がります。

バスケットボール以外の分野にも幅広く対応可能

AI バスケットボール コーチはジャンプ シュートに焦点を当てて開発されましたが、その基盤となる AI 分析パイプラインは、動きを重視するあらゆる分野に応用できます。Vertex AI と Gemini を使用すると、次のようなさまざまな分野でインテリジェントなモーション分析システムを構築できます。

• スポーツ コーチング: バスケットボール以外にも、ゴルフ、野球、体力づくりなど
• 理学療法: 可動域と回復状況のトラッキング
• 小売の現場: 行動モデリングと店舗内レイアウトのために動きを観察
• 製造: 姿勢、繰り返し作業、効率のモニタリング
• セキュリティ: 異常検出のためにライブ動画を分析

物理的な動きからインテリジェンスを引き出すことが必要なあらゆる状況で Google Cloud の Vertex AI と Gemini を利用することで、観察から分析情報を導き出すことができます。

AI バスケットボール コーチのスタックの詳細

• Google Pixel 9 Pro とデバイス上の MediaPipe: 同期されたマルチアングル動画を撮影し、1 フレームあたり 33 個の骨格ランドマークを抽出して、ボールをトラッキングします。
• Cloud Storage: 未加工の動画、ランドマーク、ボールの飛翔データをアップロードして保存します。
• Vertex AI（Gemini 2.5 Pro）: 動画、画像、バイオメカニクス測定データ、PDF、その他のグラウンディング用データソースを使用して Gemini にプロンプトを入力し、プレーヤーの動きを把握して、重要なイベント（スタンス、しゃがんだ姿勢、リリース、着地）の正確な瞬間を特定します。また、グラウンディングに基づくパーソナライズされた正確なコーチング アドバイスを生成します。
• Cloud Run: コンテナ化されたサービスを実行して、フォームの指標（肘の位置、ボールの弧の高さ、進入角）を計算します。基盤となるインフラストラクチャを管理する必要はありません。
• Firestore DB: プレーヤーのフォーム メトリック、難易度ラベル、コーチング分析を保存し、プレーヤーが分析を表示する React フロントエンド UI を含む多数のクライアント間で即座にクエリ可能なアクセスを実現します。
• BigQuery: 45 万本のシュートに基づいて作成された NBA / WNBA ヒートマップを基準に、シュートの難易度をベンチマークします。
• Gemini Live: コート上で解説を行ったり、プレーヤーがシュートのウォーミングアップをする際にパーソナライズされたウェルカム メッセージを配信します。

このデモの実現にご協力いただいたゴールデンステイト ウォリアーズのパートナーの皆様、そして Google Cloud のエンジニアリング、プロダクト、クリエイティブの各チームに感謝いたします。

協力者:

Thomas Cummins、Blake Rutledge、Alok Pattani、Zack Akil、Fernando Lammoglia、Katherine Larson、Noel Tantinya、Noah Bassetti-Blum、Lauren Kehoe、Mei Rawlinson（敬称略）。

-Google Cloud、デモ＆テスト担当クリエイティブ リード、Mauricio Ruiz

-Google Cloud、生成 AI 担当フィールド ソリューション アーキテクト、Thomas Cummins