Vertex AI의 Gemini로 AI 농구 코치 빌드하기

* 본 아티클의 원문은 2025년 05월 20일 Google Cloud 블로그(영문)에 게재되었습니다.

프로 선수의 점프슛은 마치 훌륭한 필체처럼 고유합니다. 한눈에 알아보기는 쉽지만, 막상 따라 하기는 매우 어렵습니다. 그래서 Google은 AI와 실시간 멀티모달 데이터(예: 라이브 동영상, 센서 데이터, 과거 통계 등)를 사용해 선수 개인의 무릎 각도나 슈팅하는 손의 팔꿈치 위치와 같은 세밀한 부분까지 맞춤화된 코칭 인사이트를 선수에게 제공할 방법을 고민했습니다.

오늘 Google I/O에서 Google Cloud는 Gemini 2.5 Pro를 점프슛 코치로 만드는 AI 실험 프로젝트, AI 농구 코치를 선보입니다. 이 코칭 시스템은 Pixel 카메라 링과 Vertex AI를 결합하여 AI 모션 캡처, 생체역학 분석, Gemini 기반 텍스트 및 음성 코칭을 하나로 연결합니다. 이 데모는 지난달 Google Cloud Next 25에서 처음으로 진행되었으며 수백 명의 참석자가 체험했습니다. 방문객이 하프코트에 들어와 점프슛을 쏘았고, 그 이후의 분석과 코칭은 AI의 몫입니다.

이 데모는 단순히 농구를 재미있고 독특하게 즐기는 방법을 넘어 그 이상의 중요한 의미를 가집니다. 각종 운동 경기, 제조업, 소매업, 심지어 로봇 공학에 이르기까지 복잡한 동작을 이해해야 하는 모든 환경에서 생성형 AI가 어떻게 성공적인 결과를 창출할 수 있는지 보여주었기 때문입니다.

Gemini를 점프슛 코치로 만든 방법

AI를 사용해 운동선수를 지도해보는 것은 이번이 처음이 아닙니다. 작년에 Google Cloud는 Vertex AI의 Gemini와 Imagen 2를 활용해 선수의 경기 실력을 실시간으로 분석함으로써 축구 경기의 수준을 한 단계 끌어올리기 위한 프로젝트를 진행했습니다. 또한 Pebble Beach는 AI 스윙 코치를 만들어 사람들의 스윙 개선에 도움을 주었습니다.

이러한 데모는 높은 기대치를 설정하는 동시에 두 가지 교훈도 남겼습니다.

• Gemini는 원본 동영상과 ML로 추출한 움직임 데이터(골격 랜드마크, 공의 궤적, 슛 결과)를 결합할 때 가장 정확한 피드백을 제공합니다.
• 전문 코치로부터 직접 얻은 정확한 분야별 데이터를 토대로 코치를 '학습'시켜야만 최고의 사례를 학습할 수 있습니다.

첫 번째 교훈을 적용하기 위해서는 코치가 참가자의 동작을 실제로 볼 수 있도록 해야 했습니다. 360도 뷰가 필요하므로 코트 주변에 약 6대의 Pixel 9 Pro를 설치하여 1080p 동영상을 촬영했습니다. 이렇게 하면 선수의 자세, 공의 궤적, 코트 위치를 동시에 볼 수 있습니다.

카메라를 설치한 후에는 각 휴대전화에서 MediaPipe가 로컬로 실행되도록 설정했습니다. MediaPipe는 컴퓨터 비전을 위한 Google의 오픈소스 ML 라이브러리 모음입니다. 실시간 동영상 추론(골격 랜드마크 감지, 핸드 트래킹, 객체 감지, 얼굴 추적 등)을 위한 온디바이스 모델을 제공하여 지연 시간이 짧은 모듈식 비전 파이프라인 구축을 가능하게 합니다.. 이는 성능이 뛰어나면서도 통합이 용이해 데모에 가장 적합한 솔루션이었습니다.

여기서 두 번째 교훈으로 이어집니다. 바로 정확한 분야별 데이터로 코치를 '학습'시켜야 한다는 것입니다.

AI의 성능은 입력되는 정보의 품질에 따라 결정된다는 점은 아무리 강조해도 지나치지 않습니다. AI 농구 코치가 정확한 조언을 하도록 하려면 실제 전문가와 대화해볼 필요가 있었습니다. 그래서 Golden State Warriors 팀의 파트너들과 논의하여 프로처럼 슈팅하는 데 필요한 6가지 필수 기준을 마련했습니다.

1. 팔꿈치 위치: 시스템은 슛을 쏘는 순간 주로 사용하는 팔의 전완(팔꿈치에서 손목까지의 축)이 지면에 대해 수직으로 정렬되었는지 평가했습니다. 이는 정확성과 파워에 중요한 요소입니다.
2. 발사 높이: 슛을 쏠 때 선수의 눈높이에 대한 팔꿈치의 수직 위치를 측정했습니다. 이는 슛 궤적과 수비수를 넘겨 슛을 쏘는 능력에 영향을 미칩니다.
3. 무릎에서 발끝 정렬: 선수가 웅크린 자세에서 위로 쏘는 동작을 시작할 때 하체 정렬과 하중 자세를 분석합니다. 이는 균형을 잡고 에너지를 효율적으로 전달하는 데 중요한 역할을 합니다.
4. 포물선 높이: 시스템은 공의 비행 궤적의 최대 높이를 추적합니다. 이상적인 포물선일수록 림 근처에서 오차 허용 범위가 크므로 이는 일관된 슛에 중요한 요소입니다.
5. 입사각: 공이 바스켓에 진입할 때의 각도 또는 진입했을 것으로 예상되는 각도를 계산합니다. 이는 슈팅 성공 여부에 영향을 주는 또 다른 요소입니다.
6. 선수 위치: Gemini는 코트에서 선수의 위치를 프로 선수들의 슈팅 차트와 비교 대응시켜 각 슈팅 시도의 난이도를 컨텍스트화합니다.

모든 입력이 적절하게 이루어지면 선수의 슈팅 후 Gemini 2.5 Pro가 작동합니다. 이를 통해 동영상을 스캔하고 4가지 중요 이벤트(스탠스, 웅크림, 발사, 착지)에 타임스탬프를 지정하여 전체적인 자세와 공의 궤적을 포착합니다. 이러한 마커는 팔꿈치 정렬, 발사 높이, 무릎에서 발끝 정렬과 같은 생체역학적 계산의 기준이 되며 계산 결과가 사용자에게 명확하게 표시됩니다.

분석을 수행한 플랫폼

수요에 따라 자동으로 확장되는 Google Cloud의 서버리스 플랫폼 Cloud Run을 사용했습니다. 코드가 Vertex AI SDK를 통해 Gemini를 호출하고 모든 슛의 데이터는 Firestore에 저장됩니다. Firestore는 NoSQL 데이터베이스로 결과가 준비되는 즉시 웹 UI에 피드됩니다. 코드가 Vertex AI SDK를 통해 Gemini를 호출하고 모든 슛의 데이터는 Firestore에 저장됩니다. Firestore는 NoSQL 데이터베이스로 결과가 준비되는 즉시 웹 UI에 피드됩니다.

마지막으로 Gemini Pro는 슛 자세와 슛 결과 데이터를 바탕으로 점프슛 기본 가이드라인(요약 PDF 자료)을 참조하여 유용한 조언을 평이한 언어로 작성했습니다. 모델은 정중하기만 한 것이 아니라 건설적인 어조를 유지하도록 학습되었습니다. 이는 모델의 말이 실제 코치의 말처럼 들리게 합니다. 피드백은 MediaPipe로 생성된 생체역학 데이터로 주석이 달린 다시보기 동영상과 함께 React 웹 앱 대시보드 UI에 음성 및 텍스트 형태로 제공됩니다.

NBA 및 WNBA 데이터와 비교할 때 실력이 어느 정도인가요?

데모에 경쟁적인 요소를 더하기 위해 실시간 리더보드에서 참가자들의 실적을 추적했습니다. 베이스라인에서 4.5m 거리에서 쏘는 슛은 레이업에 비해 훨씬 어렵기 때문에 득점에 이를 반영해야 했습니다. NBA와 WNBA의 45만 개가 넘는 슈팅 장면으로 참조 맵을 만들어 BigQuery(Google Cloud의 페타바이트 규모 데이터 웨어하우스)로 가져온 다음 Vertex AI 플랫폼에서 호스팅되는 Colab Enterprise 노트북에서 탐색했습니다. 데이터는 코트에 있는 평방피트 넓이의 구역별로 프로 선수가 달성하는 성공률을 보여줍니다.

데모 진행 중에 시스템은 참여자가 슈팅하는 순간의 코트 위 X-Y 좌표를 가져와 해당 위치에 대한 프로 선수들의 기준 데이터를 조회해 이들의 평균 성공률을 기준으로 슛의 난이도를 평가합니다. 프로 선수도 40% 미만의 확률로 성공하는 슛을 성공시키면 추가 점수를 획득합니다. '쉬운' 레이업슛을 놓치면 점수가 차감됩니다.

농구를 넘어선 무한한 활용 가능성

AI 농구 코치는 점프슛에 초점을 맞추었지만, 기본 AI 분석 파이프라인은 움직임이 중요한 모든 분야에 적용할 수 있습니다. Vertex AI와 Gemini를 사용하면 다음과 같은 다양한 비즈니스 영역에서 지능형 동작 분석 시스템을 빌드할 수 있습니다.

• 스포츠 코칭: 농구, 골프, 야구, 체력 단련 등
• 물리치료: 관절 가동 범위 및 회복 경과 추적
• 소매업체: 고객 행동 모델링 및 매장 레이아웃 최적화를 위한 동선 분석
• 제조업체: 작업자 자세, 반복 동작, 작업 효율성 모니터링
• 보안: 실시간 동영상 분석을 통한 이상 감지

물리적 움직임에서 인텔리전스를 도출해야 하는 경우 Google Cloud의 Vertex AI와 Gemini는 관측한 데이터를 가치 있는 인사이트로 전환할 수 있습니다.

AI 농구 코치 스택 살펴보기

• Pixel 9 Pro 및 온디바이스 MediaPipe: 동기화된 다각도 동영상을 촬영하고, 프레임당 33개의 골격 랜드마크 추출하며, 공의 궤적을 추적합니다.
• Cloud Storage: 원시 동영상, 랜드마크, 공 궤적 데이터를 업로드하고 유지합니다.
• Vertex AI(Gemini 2.5 Pro): Gemini에 동영상, 이미지, 생체역학적 측정 데이터, PDF 및 기타 그라운딩 데이터 소스를 프롬프트로 입력하여 선수의 움직임을 파악하고, 주요 이벤트(스탠스, 웅크림, 발사, 착지)가 발생하는 정확한 순간을 찾아내고, 정확하고 근거가 있으며 맞춤화된 코칭 조언을 생성합니다.
• Cloud Run: 기본 인프라를 관리할 필요 없이 자세 측정항목(팔꿈치 위치, 포물선 높이, 입사각)을 계산하는 컨테이너화된 서비스를 실행합니다.
• Firestore DB: 선수 자세 측정항목, 난이도 라벨, 코칭 분석을 저장하여 선수가 분석 내용을 확인하는 React 프런트엔드 UI를 비롯한 여러 클라이언트에서 즉시 쿼리할 수 있도록 합니다.
• BigQuery: 45만 회의 NBA/WNBA 슈팅 히트맵을 기준으로 슛 난이도를 평가합니다.
• Gemini Live: 선수가 슈팅을 준비하는 동안 코트에서 해설을 제공하고 선수별로 맞춤형 환영 메시지를 제공합니다.

이 환경을 구현하는 데 도움을 준 파트너 Golden State Warriors와 Google Cloud의 수많은 엔지니어링, 제품, 크리에이티브팀에 감사드립니다.

참여자:

Thomas Cummins, Blake Rutledge, Alok Pattani, Zack Akil, Fernando Lammoglia, Katherine Larson, Noel Tantinya, Noah Bassetti-Blum, Lauren Kehoe, Mei Rawlinson.