GDC コネクテッドの Gemini API の仕組み

このページでは、Gemini on Google Distributed Cloud の接続された API の仕組みについて説明します。インフラストラクチャ、ハードウェア、ソフトウェアの機能に関する情報も含まれます。

概要

Gemini on GDC connected API は、ローカルネットワークに接続された Google 認定ハードウェアに Gemini モデルをデプロイできるターンキーソフトウェアソリューションです。モデルは、Distributed Cloud connected クラスタにデプロイされた Confidential Virtual Machines（CVM）内でホストされます。必要なハードウェアは、Google によって確立され、認定された特定の構成を備えています。

Google 認定ハードウェア

Gemini on GDC 接続 API には、Google 認定ハードウェアの説明に沿って構成された Google 認定ハードウェアが必要です。Gemini on GDC connected API を注文する前に、このハードウェアを注文してオンプレミスにインストールする必要があります。インストール要件に記載されているように、GDC 接続 API で Gemini を注文する際に、対応するサービスタグやその他のハードウェア識別情報を Google に提供する必要があります。

Google 認定ハードウェアの仕様は次のとおりです。

プラットフォーム: Dell XE9680 サーバーシャーシ
CPU: 2 個の Intel Xeon Platinum 8592+ 64 コアプロセッサ
メモリ: 2 TB DDR5 5,600 MT/秒 RDIMM RAM
GPU: 8 個の NVIDIA H200 シリーズ GPU を搭載した NVIDIA HGX H200 SXM アセンブリ
ストレージ: 次のように構成された FIPS 認定 NVMe ストレージ。
- オペレーティングシステム用のハードウェア RAID1 の 960 GB ドライブ 2 台
- システム予約関数用に予約されたソフトウェア RAID1 の 15.36 TB ドライブ 2 台
- Gemini on GDC 接続 API エンドポイントをローカルで提供する機密仮想マシンのデータを保存するための 15.36 TB ドライブ 6 台。
ネットワーキング:
- Mellanox ConnectX-6 デュアルポート 100 GbE QFSP56 ネットワークアダプタ 2 個
- 1 つの統合 Broadcom 5720 1 GbE ネットワークアダプター
管理: 組み込みシステム管理用の Integrated Dell Remote Access Controller 9（iDRAC9）Datacenter 16G
電源: 2,800 W の Titanium 認証電源 6 個

GDC コネクテッド API 上の Gemini の単一のデプロイは、1 台の Google 認定マシンで構成されます。Gemini on GDC 接続 API は、Google 認定以外のハードウェア構成では実行されません。

Confidential VM

Gemini on GDC connected API によって提供されるモデルは、Distributed Cloud connected クラスタで実行されている Confidential Virtual Machines 内でホストされます。リモート認証により、デプロイされた CVM と、それらを実行する安全なソフトウェア環境のセキュリティと整合性が確保されます。

リモート認証

Gemini on GDC 接続 API では、デプロイされた CVM と、それらをホストする安全なソフトウェア環境のリモート構成証明を維持するために、常にインターネット接続が必要です。認証メカニズムは、Intel® Software Guard Extension（Intel® SGX）Remote Attestation Services を使用して実装されます。Intel® SGX Provisioning Certification Service のサブスクリプションが必要です。また、GDC 接続 API で Gemini を注文する際に、対応する API キーを Google に提供する必要があります。

リモート認証の失敗

リモート構成証明サービスは、Gemini on GDC 接続 API デプロイと Google の間にハートビートを確立します。これには、中断のないインターネット接続が必要です。このハートビートが 30 分以上連続して中断されると、ハートビートが再確立されるまで CVM がシャットダウンされます。構成証明の失敗を解決するには、Google の担当者にお問い合わせください。

サポートされているモデル

このリリースの Gemini on GDC 接続 API は、次のモデルをサポートしています。

公開 ID gemini-2.0-flash-001 の Gemini 2.0 Flash 128k。

Gemini on GDC connected API に適したワークロードの詳細については、Gemini の概要をご覧ください。

デプロイ手順を実行する

大まかには、Gemini on GDC 接続 API での Gemini モデルのデプロイは次のようになります。

ハードウェアの説明に沿って、Google 認定ハードウェアを調達してインストールします。
インストール要件に記載されているインストール要件をすべて満たすために必要な手順を完了します。
Distributed Cloud コネクテッドで Google Distributed Cloud コネクテッド API の Gemini を注文するの説明に従って、GDC コネクテッド API で Gemini を注文します。注文する際は、インストール要件に記載されている情報を提供する必要があります。これにより、Google は、デプロイするモデルをホストする CVM のソフトウェア管理とリモート構成証明のために、Gemini on GDC 接続 API デプロイをプロビジョニングできます。
Google 認定ハードウェアに Gemini on GDC 接続 API ソフトウェアをインストールして構成するために、お客様の拠点に訪問する必要がある Google の技術者との訪問日をスケジュールします。
必要な API を有効にするの説明に従って、必要な API を有効にします。
必要なロールを付与するの説明に従って、Gemini on Google Distributed Cloud 接続 API 管理者と Gemini on GDC 接続 API モデルのユーザーアカウントに必要なロールを付与します。
Gemini on GDC 接続 API エンドポイントをデプロイするの説明に沿って、Gemini on GDC 接続 API エンドポイントを作成してデプロイします。
Gemini on GDC 接続 API エンドポイントを操作するの説明に沿って、デプロイされた Gemini on GDC 接続 API エンドポイントを操作します。