Halaman ini memberikan ringkasan integrasi Spanner Vertex AI.
Integrasi Spanner dengan Vertex AI membantu Anda mengakses model ML regresi dan regresi yang dihosting di Vertex AI melalui antarmuka GoogleSQL dan PostgreSQL. Hal ini membantu mengintegrasikan fungsi prediksi ML secara lancar dengan operasi akses data Spanner umum yang dilakukan menggunakan kueri DQL/DML.
Manfaat integrasi Vertex AI Spanner
Menghasilkan prediksi ML menggunakan integrasi Vertex AI Spanner akan memberikan banyak manfaat dibandingkan dengan pendekatan di mana akses data Spanner dan akses ke endpoint prediksi Vertex AI dilakukan secara terpisah:
- Performa:
- Latensi yang lebih baik: Integrasi Vertex AI Spanner yang berkomunikasi dengan layanan Vertex AI secara langsung menghilangkan perjalanan bolak-balik tambahan antara node komputasi yang menjalankan klien Spanner dan layanan Vertex AI.
- Throughput/paralelisme yang lebih baik: Integrasi Vertex AI Spanner berjalan di atas infrastruktur pemrosesan kueri terdistribusi Spanner, yang mendukung eksekusi kueri yang sangat dapat diparalelkan.
- Pengalaman pengguna:
- Kemampuan untuk menggunakan antarmuka SQL tunggal yang sederhana, koheren, dan familier untuk memfasilitasi transformasi data dan skenario penayangan ML pada skala Spanner menurunkan hambatan entri ML dan memungkinkan pengalaman pengguna yang jauh lebih lancar.
- Biaya:
- Integrasi dengan Vertex AI Spanner menggunakan kapasitas komputasi Spanner untuk menggabungkan hasil komputasi ML dan eksekusi kueri SQL, sehingga tidak perlu menyediakan komputasi tambahan (misalnya, di Compute Engine atau Google Kubernetes Engine) untuk hal tersebut.
Bagaimana cara kerja integrasi Vertex AI Spanner?
Integrasi Spanner Vertex AI tidak menghosting model ML, tetapi mengandalkan infrastruktur layanan Vertex AI. Anda tidak perlu melatih model menggunakan Vertex AI untuk menggunakannya dengan integrasi Vertex AI Spanner, tetapi Anda harus men-deploy model tersebut ke endpoint Vertex AI.
Untuk melatih model pada data yang disimpan di Spanner, Anda dapat menggunakan hal berikut:
Kueri Federasi BigQuery bersama BigQuery ML.
Dataflow untuk mengekspor data dari Spanner ke dalam format CSV dan mengimpor sumber data CSV ke Vertex AI.
Integrasi Vertex AI Spanner memperluas fungsi berikut untuk menggunakan model ML:
Buat prediksi ML dengan memanggil model menggunakan SQL pada data Spanner Anda. Anda dapat menggunakan model dari Model Garden Vertex AI atau model yang di-deploy ke endpoint Vertex AI.
Membuat embedding teks agar LLM menerjemahkan perintah teks menjadi angka. Untuk mempelajari embedding lebih lanjut, baca artikel Mendapatkan embedding teks.
Menggunakan fungsi integrasi Vertex AI Spanner
Model dalam integrasi Vertex AI Spanner dapat digunakan untuk membuat prediksi atau embedding teks dalam kode SQL Anda menggunakan fungsi ML Predict. Fungsi-fungsi ini adalah sebagai berikut:
GoogleSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk GoogleSQL:
Anda harus mendaftarkan model menggunakan pernyataan DDL CREATE MODEL sebelum menggunakannya dengan fungsi ML.PREDICT.
Anda juga dapat menggunakan SAFE.ML.PREDICT untuk menampilkan null, bukan error dalam prediksi. Hal ini berguna saat menjalankan kueri besar dengan toleransi beberapa prediksi yang gagal.
PostgreSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk PostgreSQL:
Untuk menggunakan fungsi ini, Anda dapat memilih model dari Vertex AI Model Garden atau menggunakan model yang telah Anda deploy ke Vertex AI.
Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint di Vertex AI, lihat Men-deploy model ke endpoint.
Untuk mengetahui informasi lebih lanjut tentang cara menggunakan fungsi ini untuk menghasilkan prediksi ML, baca Membuat prediksi ML menggunakan SQL.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan fungsi ini untuk menghasilkan embedding teks, lihat Mendapatkan embedding teks.
Harga
Tidak ada biaya tambahan dari Spanner saat Anda menggunakannya dengan integrasi Spanner Vertex AI. Namun, ada kemungkinan tagihan lain terkait fitur ini:
Anda membayar tarif standar untuk prediksi online Vertex AI. Total biaya bergantung pada jenis model yang Anda gunakan. Beberapa jenis model memiliki tarif tetap per jam, bergantung pada jenis mesin dan jumlah node yang Anda gunakan. Beberapa jenis model memiliki tarif per panggilan. Sebaiknya deploy yang terakhir dalam project khusus tempat Anda telah menetapkan kuota prediksi eksplisit.
Anda membayar tarif standar untuk transfer data antara Spanner dan Vertex AI. Total biaya bergantung pada region yang menghosting server yang menjalankan kueri, dan region yang menghosting endpoint yang disebut. Untuk meminimalkan biaya, deploy endpoint Vertex AI Anda di region yang sama dengan instance Spanner. Saat menggunakan konfigurasi instance multi-regional atau beberapa endpoint Vertex AI, deploy endpoint Anda di benua yang sama.
SLA
Karena ketersediaan prediksi online Vertex AI lebih rendah, Anda harus mengonfigurasi model Spanner ML dengan benar untuk mempertahankan ketersediaan tinggi Spanner saat menggunakan integrasi Spanner Vertex AI:
- Model Spanner ML harus menggunakan beberapa endpoint Vertex AI di backend untuk mengaktifkan failover.
- Endpoint Vertex AI harus sesuai dengan SLA Vertex AI.
- Endpoint Vertex AI harus menyediakan kapasitas yang cukup untuk menangani traffic masuk.
- Endpoint Vertex AI harus menggunakan region terpisah yang dekat dengan database Spanner untuk menghindari pemadaman layanan regional.
- Endpoint Vertex AI harus menggunakan project terpisah untuk menghindari masalah terkait kuota prediksi per project.
Jumlah endpoint Vertex AI redundan bergantung pada SLA-nya, dan jumlah baris dalam kueri Spanner:
| SLA Spanner | SLA Vertex AI | 1 baris | 10 baris | 100 baris | 1.000 baris |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99.5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99.5% | 3 | 3 | 4 | 4 |
Endpoint Vertex AI tidak perlu menghosting model yang sama persis. Sebaiknya konfigurasikan model Spanner ML agar memiliki model primer, kompleks, dan intensif komputasi sebagai endpoint pertamanya. Endpoint failover berikutnya dapat mengarah ke model sederhana yang tidak terlalu membutuhkan komputasi, menskalakan dengan lebih baik, dan dapat menyerap lonjakan traffic.
Kepatuhan
Assured Workloads tidak mendukung Vertex AI Prediction API. Mengaktifkan batasan penggunaan resource terbatas akan menonaktifkan Vertex AI API dan fitur integrasi Vertex AI Spanner secara efektif.
Selain itu, sebaiknya Anda membuat perimeter Kontrol Layanan VPC untuk memastikan database produksi Anda tidak dapat terhubung ke endpoint Vertex AI dalam project non-produksi yang mungkin tidak memiliki konfigurasi kepatuhan yang tepat.