Halaman ini memberikan ringkasan integrasi Vertex AI Spanner. Integrasi Spanner Vertex AI berfungsi dengan database GoogleSQL dan PostgreSQL.
Integrasi Spanner Vertex AI membantu Anda mengakses model ML klasifikasi dan regresi yang dihosting di Vertex AI melalui antarmuka GoogleSQL dan PostgreSQL. Hal ini membantu mengintegrasikan fungsi penayangan prediksi ML dengan operasi akses data Spanner umum yang dilakukan menggunakan kueri DQL/DML.
Manfaat integrasi Vertex AI Spanner
Membuat prediksi ML menggunakan integrasi Vertex AI Spanner memberikan beberapa manfaat dibandingkan dengan pendekatan saat akses data Spanner dan akses ke endpoint prediksi Vertex AI dilakukan secara terpisah:
- Performa:
- Latensi yang lebih baik: Integrasi Spanner Vertex AI yang berkomunikasi dengan layanan Vertex AI secara langsung menghilangkan perjalanan bolak-balik tambahan antara node komputasi yang menjalankan klien Spanner dan layanan Vertex AI.
- Throughput/paralelisme yang lebih baik: Integrasi Vertex AI Spanner berjalan di atas infrastruktur pemrosesan kueri terdistribusi Spanner, yang mendukung eksekusi kueri yang sangat paralel.
- Pengalaman pengguna:
- Kemampuan untuk menggunakan satu antarmuka SQL yang sederhana, koheren, dan sudah dikenal untuk memfasilitasi skenario transformasi data dan penayangan ML pada tingkat skala Spanner menurunkan hambatan entri ML dan memungkinkan pengalaman pengguna yang jauh lebih lancar.
- Biaya:
- Integrasi Spanner Vertex AI menggunakan kapasitas komputasi Spanner untuk menggabungkan hasil komputasi ML dan eksekusi kueri SQL, sehingga tidak perlu menyediakan komputasi tambahan (misalnya, di Compute Engine atau Google Kubernetes Engine) untuk hal tersebut.
Bagaimana cara kerja integrasi Vertex AI Spanner?
Integrasi Spanner Vertex AI tidak menghosting model ML, tetapi mengandalkan infrastruktur layanan Vertex AI. Anda tidak perlu melatih model menggunakan Vertex AI untuk menggunakannya dengan integrasi Spanner Vertex AI, tetapi Anda harus men-deploynya ke endpoint Vertex AI.
Untuk melatih model pada data yang disimpan di Spanner, Anda dapat menggunakan hal berikut:
Kueri Gabungan BigQuery bersama dengan BigQuery ML.
Dataflow untuk mengekspor data dari Spanner ke dalam format CSV dan mengimpor sumber data CSV ke Vertex AI.
Integrasi Vertex AI Spanner memperluas fungsi berikut untuk menggunakan model ML:
Buat prediksi ML dengan memanggil model menggunakan SQL pada data Spanner Anda. Anda dapat menggunakan model dari Vertex AI Model Garden atau model yang di-deploy ke endpoint Vertex AI.
Buat penyematan teks agar LLM menerjemahkan prompt teks menjadi angka. Untuk mempelajari lebih lanjut penyematan, lihat Mendapatkan penyematan teks.
Menggunakan fungsi integrasi Vertex AI Spanner
Model dalam integrasi Spanner Vertex AI dapat digunakan untuk menghasilkan prediksi atau penyematan teks dalam kode SQL Anda menggunakan fungsi ML Predict. Fungsi ini adalah sebagai berikut:
GoogleSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk GoogleSQL:
Anda harus mendaftarkan model menggunakan pernyataan DDL CREATE MODEL sebelum menggunakannya dengan fungsi ML.PREDICT.
Anda juga dapat menggunakan SAFE.ML.PREDICT untuk menampilkan null, bukan error dalam
prediksi Anda. Hal ini berguna jika menjalankan kueri besar
dengan beberapa prediksi yang gagal dapat ditoleransi.
PostgreSQL
Anda dapat menggunakan fungsi prediksi ML berikut untuk PostgreSQL:
Untuk menggunakan fungsi ini, Anda dapat memilih model dari Vertex AI Model Garden atau menggunakan model yang telah Anda deploy ke Vertex AI.
Untuk mengetahui informasi selengkapnya tentang cara men-deploy model ke endpoint di Vertex AI, lihat Men-deploy model ke endpoint.
Untuk informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat prediksi ML, lihat Membuat prediksi ML menggunakan SQL.
Untuk informasi selengkapnya tentang cara menggunakan fungsi ini untuk membuat embedding teks, lihat Mendapatkan embedding teks.
Harga
Tidak ada biaya tambahan dari Spanner saat Anda menggunakannya dengan integrasi Spanner Vertex AI. Namun, ada kemungkinan biaya lainnya yang terkait dengan fitur ini:
Anda membayar tarif standar untuk prediksi online Vertex AI. Biaya total bergantung pada jenis model yang Anda gunakan. Beberapa jenis model memiliki tarif tetap per jam, bergantung pada jenis mesin dan jumlah node yang Anda gunakan. Beberapa jenis model memiliki tarif per panggilan. Sebaiknya Anda men-deploy yang terakhir dalam project khusus tempat Anda telah menetapkan kuota prediksi eksplisit.
Anda membayar tarif standar untuk transfer data antara Spanner dan Vertex AI. Total tagihan bergantung pada region yang menghosting server yang mengeksekusi kueri dan region yang menghosting endpoint yang dipanggil. Untuk meminimalkan tagihan, deploy endpoint Vertex AI di region yang sama dengan instance Spanner Anda. Saat menggunakan konfigurasi instance multi-regional atau beberapa endpoint Vertex AI, deploy endpoint Anda di benua yang sama.
SLA
Karena ketersediaan prediksi online Vertex AI lebih rendah, Anda harus mengonfigurasi model ML Spanner dengan benar untuk mempertahankan ketersediaan tinggi Spanner saat menggunakan integrasi Vertex AI Spanner:
- Model Spanner ML harus menggunakan beberapa endpoint Vertex AI di backend untuk mengaktifkan failover.
- Endpoint Vertex AI harus sesuai dengan SLA Vertex AI.
- Endpoint Vertex AI harus menyediakan kapasitas yang cukup untuk menangani traffic masuk.
- Endpoint Vertex AI harus menggunakan region terpisah yang dekat dengan database Spanner untuk menghindari pemadaman layanan regional.
- Endpoint Vertex AI harus menggunakan project terpisah untuk menghindari masalah dengan kuota prediksi per project.
Jumlah endpoint Vertex AI yang redundan bergantung pada SLA-nya, dan jumlah baris dalam kueri Spanner:
| SLA Spanner | SLA Vertex AI | 1 baris | 10 baris | 100 baris | 1.000 baris |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99.5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99.5% | 3 | 3 | 4 | 4 |
Endpoint Vertex AI tidak perlu menghosting model yang sama persis. Sebaiknya konfigurasi model ML Spanner agar memiliki model utama, kompleks, dan intensif komputasi sebagai endpoint pertamanya. Endpoint failover berikutnya dapat mengarah ke model sederhana yang tidak terlalu intensif komputasi, diskalakan dengan lebih baik, dan dapat menyerap lonjakan traffic.
Kepatuhan
Assured Workloads tidak mendukung Vertex AI Prediction API. Mengaktifkan batasan penggunaan resource yang dibatasi akan menonaktifkan Vertex AI API dan secara efektif fitur integrasi Spanner Vertex AI.
Selain itu, sebaiknya buat perimeter Kontrol Layanan VPC untuk memastikan database produksi Anda tidak dapat terhubung ke endpoint Vertex AI di project non-produksi yang mungkin tidak memiliki konfigurasi kepatuhan yang tepat.