이 페이지에서는 인프라, 하드웨어, 소프트웨어 기능을 비롯하여 Google Distributed Cloud에 연결된 API의 Gemini가 작동하는 방식을 설명합니다.
개요
GDC 연결 API의 Gemini는 로컬 네트워크에 연결된 자체 Google 인증 하드웨어에 Gemini 모델을 배포할 수 있는 턴키 소프트웨어 솔루션입니다. 모델은 Distributed Cloud connected 클러스터에 배포된 컨피덴셜 가상 머신 (CVM) 내에서 호스팅됩니다. 필수 하드웨어는 Google에서 설정하고 인증한 특정 구성을 갖습니다.
Google 인증 하드웨어
GDC 연결 API의 Gemini에는 Google 인증 하드웨어에 설명된 대로 정확하게 구성된 Google 인증 하드웨어가 필요합니다. GDC 연결 API에서 Gemini를 주문하기 전에 이 하드웨어를 주문하고 사내에 설치해야 합니다. 설치 요구사항에 설명된 대로 GDC 연결 API에서 Gemini를 주문할 때 해당 서비스 태그 및 기타 하드웨어 식별 정보를 Google에 제공해야 합니다.
Google 인증 하드웨어의 사양은 다음과 같습니다.
- 플랫폼: Dell XE9680 서버 섀시
- CPU: Intel Xeon Platinum 8592+ 64코어 프로세서 2개
- 메모리: 2TB DDR5 5600MT/s RDIMM RAM
- GPU: NVIDIA H200 시리즈 GPU 8개가 포함된 NVIDIA HGX H200 SXM 어셈블리
- 스토리지: 다음과 같이 구성된 FIPS 인증 NVMe 스토리지
- 운영체제를 위한 하드웨어 RAID1의 960GB 드라이브 2개
- 시스템 예약 기능을 위해 예약된 소프트웨어 RAID1의 15.36TB 드라이브 2개
- GDC 연결 API 엔드포인트에서 Gemini를 로컬로 제공하는 컨피덴셜 가상 머신의 데이터를 저장하는 15.36TB 드라이브 6개
- 네트워킹:
- Mellanox ConnectX-6 듀얼 포트 100GbE QFSP56 네트워크 어댑터 2개
- 통합 Broadcom 5720 1GbE 네트워크 어댑터 1개
- 관리: 내장 시스템 관리를 위한 통합 Dell 원격 액세스 컨트롤러 9 (iDRAC9) Datacenter 16G
- 전원: 2800W 티타늄 인증 전원 공급 장치 6개
GDC connected API의 Gemini 단일 배포는 Google 인증 머신 1대로 구성됩니다. GDC 연결 API의 Gemini는 Google 인증을 받지 않은 하드웨어 구성에서 실행되지 않습니다.
컨피덴셜 가상 머신
GDC 연결 API의 Gemini에서 제공하는 모델은 분산 클라우드 연결 클러스터에서 실행되는 컨피덴셜 가상 머신 내에서 호스팅됩니다. 원격 증명은 배포된 CVM과 이를 실행하는 보안 소프트웨어 환경의 보안과 무결성을 보장합니다.
원격 증명
GDC 연결 API의 Gemini는 배포된 CVM과 이를 호스팅하는 보안 소프트웨어 환경의 원격 증명을 유지하기 위해 지속적인 인터넷 연결이 필요합니다. 증명 메커니즘은 Intel® Software Guard Extension (Intel® SGX) 원격 증명 서비스를 사용하여 구현됩니다. Intel® SGX 프로비저닝 인증 서비스 구독이 있어야 하며 GDC 연결 API에서 Gemini를 주문할 때 Google에 해당 API 키를 제공해야 합니다.
원격 증명 실패
원격 증명 서비스는 GDC에 연결된 API 배포의 Gemini와 Google 간에 하트비트를 설정하며, 이를 위해서는 중단 없는 인터넷 연결이 필요합니다. 이 하트비트가 30분 이상 연속으로 중단되면 하트비트가 다시 설정될 때까지 CVM이 종료됩니다. 증명 실패를 해결하려면 Google 담당자에게 문의하세요.
지원되는 모델
GDC 연결 API의 이번 Gemini 버전에서는 다음 모델을 지원합니다.
- 공개 ID가
gemini-2.0-flash-001인 Gemini 2.0 Flash 128k
GDC 연결 API의 Gemini에 적합한 워크로드에 대한 자세한 내용은 Gemini 개요를 참고하세요.
배포 단계
개략적으로 GDC 연결 API의 Gemini에 Gemini 모델을 배포하는 방법은 다음과 같습니다.
- 하드웨어에 설명된 대로 Google 인증 하드웨어를 조달하고 설치합니다.
- 설치 요구사항에 설명된 모든 설치 요구사항을 충족하는 데 필요한 단계를 완료합니다.
- Distributed Cloud(연결형)에서 Google Distributed Cloud(연결형) API의 Gemini 주문에 설명된 대로 GDC(연결형) API에서 Gemini를 주문합니다. 주문 시 Google에서 소프트웨어 관리 및 배포하려는 모델을 호스팅하는 CVM의 원격 증명을 위해 GDC 연결 API 배포에 Gemini를 프로비저닝할 수 있도록 설치 요구사항에 나열된 정보를 제공해야 합니다.
- Google 인증 하드웨어에 GDC 연결 API 소프트웨어의 Gemini를 설치하고 구성하기 위해 위치를 방문해야 하는 Google 기술자와 방문 일정을 예약합니다.
- 필요한 API 사용 설정에 설명된 대로 필요한 API를 사용 설정합니다.
- 필요한 역할 부여에 설명된 대로 Google Distributed Cloud에 연결된 API 관리자 및 GDC에 연결된 API 모델 소비자 계정에 필요한 역할을 부여합니다.
- Gemini on GDC 연결 API 엔드포인트 배포에 설명된 대로 Gemini on GDC 연결 API 엔드포인트를 만들고 배포합니다.
- GDC 연결 API 엔드포인트에서 Gemini와 상호작용에 설명된 대로 배포된 Gemini와 GDC 연결 API 엔드포인트에서 상호작용합니다.