Cara kerja Gemini di API GDC terhubung di GDC terhubung

Halaman ini menjelaskan cara kerja API Gemini di Google Distributed Cloud terhubung, termasuk informasi tentang infrastruktur, kemampuan hardware, dan software-nya.

Ringkasan

Gemini di GDC Connected API adalah solusi software siap pakai yang memungkinkan Anda men-deploy model Gemini di hardware bersertifikasi Google Anda sendiri yang terhubung ke jaringan lokal Anda. Model dihosting dalam Virtual Machine Rahasia (CVM) yang di-deploy di cluster Distributed Cloud terhubung. Hardware yang diperlukan memiliki konfigurasi khusus yang ditetapkan dan disertifikasi oleh Google.

Hardware bersertifikasi Google

API yang terhubung Gemini di GDC memerlukan hardware bersertifikasi Google yang dikonfigurasi persis seperti yang dijelaskan dalam hardware bersertifikasi Google. Anda harus memesan dan menginstal hardware ini di lokasi Anda sebelum memesan Gemini di API yang terhubung ke GDC. Anda harus memberikan tag layanan yang sesuai dan informasi identifikasi hardware lainnya kepada Google saat memesan Gemini di API yang terhubung ke GDC, seperti yang dijelaskan dalam Persyaratan penginstalan.

Hardware bersertifikasi Google memiliki spesifikasi berikut:

Platform: Sasis server Dell XE9680
CPU: Dua (2) prosesor 64-core Intel Xeon Platinum 8592+
Memori: RAM RDIMM 2 TB DDR5 5600 MT/s
GPU: Rakitan NVIDIA HGX H200 SXM dengan delapan (8) GPU seri NVIDIA H200
Penyimpanan: Penyimpanan NVMe bersertifikasi FIPS yang dikonfigurasi sebagai berikut:
- 2x drive 960 GB dalam RAID1 hardware untuk sistem operasi
- 2x drive 15,36 TB dalam RAID1 software yang dicadangkan untuk fungsi yang dicadangkan sistem
- 6x drive 15,36 TB untuk menyimpan data bagi virtual machine rahasia yang secara lokal menayangkan endpoint API Gemini di GDC yang terhubung.
Jaringan:
- Dua (2) adaptor jaringan Mellanox ConnectX-6 dual-port 100 GbE QFSP56
- Satu (1) adaptor jaringan Broadcom 5720 1 GbE terintegrasi
Pengelolaan: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G untuk pengelolaan sistem tersemat
Daya: Enam (6) catu daya bersertifikasi Titanium 2800 W

Satu deployment Gemini di API yang terhubung ke GDC terdiri dari satu (1) mesin bersertifikasi Google. Gemini di API yang terhubung ke GDC tidak berjalan pada konfigurasi hardware yang tidak tersertifikasi Google.

Mesin virtual rahasia

Model yang ditayangkan oleh Gemini di API yang terhubung ke GDC dihosting dalam Virtual Machine Rahasia yang berjalan di cluster Distributed Cloud terhubung. Pengesahan jarak jauh memastikan keamanan dan integritas CVM yang di-deploy serta lingkungan software aman yang menjalankannya.

Pengesahan jarak jauh

API yang terhubung dengan Gemini di GDC memerlukan koneksi internet yang stabil untuk mempertahankan pengesahan jarak jauh CVM yang di-deploy dan lingkungan software aman yang menghostingnya. Mekanisme pengesahan diterapkan menggunakan Layanan Pengesahan Jarak Jauh Intel® Software Guard Extension (Intel® SGX). Anda harus memiliki langganan Intel® SGX Provisioning Certification Service dan memberikan kunci API yang sesuai kepada Google saat memesan Gemini di GDC connected API.

Kegagalan pengesahan jarak jauh

Layanan pengesahan jarak jauh membuat sinyal detak jantung antara deployment API yang terhubung dengan Gemini di GDC dan Google, yang memerlukan koneksi internet tanpa gangguan. Jika detak jantung ini terganggu selama lebih dari 30 menit berturut-turut, CVM akan dimatikan hingga detak jantung dipulihkan. Hubungi perwakilan Google Anda untuk mengatasi kegagalan pengesahan.

Model yang didukung

Rilis Gemini di GDC yang terhubung dengan API ini mendukung model berikut:

Gemini 2.0 Flash 128k dengan ID publik gemini-2.0-flash-001.

Untuk mengetahui informasi selengkapnya tentang workload yang cocok untuk Gemini di API terhubung GDC, lihat Ringkasan Gemini.

Langkah-langkah penerapan

Pada tingkat tinggi, deployment model Gemini di Gemini pada API yang terhubung ke GDC terlihat sebagai berikut:

Dapatkan dan instal hardware bersertifikasi Google, seperti yang dijelaskan di Hardware.
Selesaikan langkah-langkah yang diperlukan untuk memenuhi semua persyaratan penginstalan yang dijelaskan dalam Persyaratan penginstalan.
Pesan Gemini di API yang terhubung ke GDC seperti yang dijelaskan dalam Memesan Gemini di API yang terhubung ke Google Distributed Cloud di Distributed Cloud yang terhubung. Saat memesan, Anda harus memberikan informasi yang tercantum dalam Persyaratan penginstalan agar Google dapat menyediakan deployment API yang terhubung Gemini di GDC untuk pengelolaan software dan pengesahan jarak jauh CVM yang menghosting model yang ingin Anda deploy.
Jadwalkan kunjungan dengan teknisi Google yang harus mengunjungi lokasi Anda untuk menginstal dan mengonfigurasi software API yang terhubung ke Gemini di GDC di hardware bersertifikasi Google Anda.
Aktifkan API yang diperlukan, seperti yang dijelaskan dalam Mengaktifkan API yang diperlukan.
Berikan peran yang diperlukan kepada administrator API yang terhubung ke Gemini di Google Distributed Cloud dan akun konsumen model API yang terhubung ke Gemini di GDC, seperti yang dijelaskan dalam Memberikan peran yang diperlukan.
Buat dan deploy endpoint API yang terhubung ke Gemini di GDC, seperti yang dijelaskan dalam Men-deploy endpoint API yang terhubung ke Gemini di GDC.
Berinteraksi dengan Gemini yang di-deploy di endpoint API yang terhubung ke GDC seperti yang dijelaskan dalam Berinteraksi dengan endpoint API yang terhubung ke Gemini di GDC.