Gunakan halaman ini untuk memahami perbedaan antara Vertex AI dan BigQuery serta mempelajari cara mengintegrasikan Vertex AI dengan alur kerja BigQuery yang ada. Vertex AI dan BigQuery bekerja sama untuk memenuhi kasus penggunaan machine learning dan MLOps Anda.
Untuk mempelajari lebih lanjut perbedaan pelatihan model antara Vertex AI dan BigQuery, baca Memilih metode pelatihan.
Perbedaan antara Vertex AI dan BigQuery
Bagian ini membahas layanan Vertex AI, BigQuery, dan BigQuery ML.
Vertex AI: Platform AI/ML end-to-end
Vertex AI adalah platform AI/ML untuk pengembangan dan tata kelola model. Kasus penggunaan umum mencakup:
- Tugas machine learning, seperti perkiraan, prediksi, rekomendasi, dan deteksi anomali
Tugas AI generatif, seperti:
- Pembuatan, klasifikasi, peringkasan, dan ekstraksi teks
- Pembuatan dan penyelesaian kode
- Pembuatan gambar
- Pembuatan penyematan
Anda dapat menggunakan BigQuery untuk menyiapkan data pelatihan bagi model Vertex AI, yang dapat Anda sediakan sebagai fitur di Vertex AI Feature Store.
Anda dapat melatih model di Vertex AI dengan tiga cara:
- AutoML: Melatih model pada set data gambar, tabel, dan video tanpa perlu menulis kode.
- Pelatihan Kustom: Jalankan kode pelatihan kustom yang disesuaikan dengan kasus penggunaan tertentu.
- Ray on Vertex AI: Gunakan Ray untuk menskalakan aplikasi AI dan Python seperti machine learning.
Anda juga dapat mengimpor model yang dilatih di platform lain seperti BigQuery ML atau XGBoost.
Anda dapat mendaftarkan model yang dilatih khusus ke Vertex AI Model Registry. Anda juga dapat mengimpor model yang dilatih di luar Vertex AI dan mendaftarkannya ke Vertex AI Model Registry. Anda tidak perlu mendaftarkan model AutoML; model tersebut terdaftar secara otomatis pada waktu pembuatan.
Dari registry, Anda dapat mengelola versi model, men-deploy ke endpoint untuk prediksi online, melakukan evaluasi model, memantau deployment dengan Vertex AI Model Monitoring, dan menggunakan Vertex Explainable AI.
Bahasa yang tersedia:
- Vertex AI SDK mendukung Python, Java, Node.js, dan Go.
BigQuery: Data warehouse perusahaan multicloud serverless
BigQuery adalah data warehouse perusahaan yang terkelola sepenuhnya yang membantu Anda mengelola dan menganalisis data dengan fitur bawaan seperti machine learning, analisis geospasial, dan business intelligence. Tabel BigQuery dapat dikueri oleh SQL, dan data scientist yang terutama menggunakan SQL dapat menjalankan kueri berukuran besar hanya dengan beberapa baris kode.
Anda juga dapat menggunakan BigQuery sebagai penyimpanan data yang dijadikan referensi saat membuat model tabulasi dan kustom di Vertex AI. Untuk mempelajari lebih lanjut cara menggunakan BigQuery sebagai penyimpanan data, lihat Ringkasan penyimpanan BigQuery.
Bahasa yang tersedia:
- SDK untuk BigQuery. Untuk mempelajari lebih lanjut, lihat Library Klien BigQuery API.
- GoogleSQL
- Legacy SQL
Untuk mempelajari lebih lanjut, baca dialek SQL BigQuery.
BigQuery ML: Machine learning langsung di BigQuery
BigQuery ML memungkinkan Anda mengembangkan dan memanggil model di BigQuery. Dengan BigQuery ML, Anda dapat menggunakan SQL untuk melatih model ML langsung di BigQuery tanpa perlu memindahkan data atau mengkhawatirkan infrastruktur pelatihan yang mendasarinya. Anda dapat membuat prediksi batch untuk model BigQuery ML guna mendapatkan insight dari data BigQuery.
Anda juga dapat mengakses model Vertex AI menggunakan BigQuery ML. Anda dapat membuat model jarak jauh BigQuery ML melalui model bawaan Vertex AI seperti Gemini, atau melalui model kustom Vertex AI. Anda berinteraksi dengan model jarak jauh menggunakan SQL di BigQuery, sama seperti model BigQuery ML lainnya, tetapi semua pelatihan dan inferensi untuk model jarak jauh diproses di Vertex AI.
Bahasa yang tersedia:
- GoogleSQL
- Library klien BigQuery
Untuk mempelajari lebih lanjut keuntungan menggunakan BigQuery ML, lihat Pengantar AI dan ML di BigQuery.
Manfaat mengelola model BigQuery ML di Vertex AI
Anda dapat mendaftarkan model BigQuery ML ke Model Registry untuk mengelola model di Vertex AI. Mengelola model BigQuery ML di Vertex AI memberikan dua manfaat utama:
Penyaluran model online: BigQuery ML hanya mendukung prediksi batch untuk model Anda. Untuk mendapatkan prediksi online, Anda dapat melatih model Anda di BigQuery ML dan men-deploy-nya ke endpoint Vertex AI melalui Vertex AI Model Registry.
Kemampuan MLOps: Model paling bermanfaat jika terus diperbarui melalui pelatihan berkelanjutan. Vertex AI menawarkan alat MLOps yang mengotomatiskan pemantauan dan pelatihan ulang model untuk mempertahankan akurasi prediksi dari waktu ke waktu. Dengan Vertex AI Pipelines, Anda dapat menggunakan operator BigQuery untuk memasukkan tugas BigQuery apa pun (termasuk BigQuery ML) ke dalam pipeline ML. Dengan Vertex AI Model Monitoring, Anda dapat memantau prediksi BigQuery ML dari waktu ke waktu.
Untuk mempelajari cara mendaftarkan model BigQuery ML ke Model Registry, lihat Mengelola model BigQuery ML dengan Vertex AI.
Tutorial notebook terkait
| Apa yang ingin Anda lakukan? | Resource |
|---|---|
| Menggunakan BigQuery ML untuk menganalisis gambar dan teks menggunakan Gemini di Vertex AI | Menganalisis poster film di BigQuery dengan Gemini 1.5 Flash |
| Menggunakan BigQuery ML untuk membuat teks pada tabel BigQuery atau data tidak terstruktur dengan model dasar di Vertex AI | Membuat teks menggunakan BigQuery ML dan model dasar di Vertex AI |
| Membuat embedding vektor dengan BigQuery ML pada teks dan gambar | Memanggil endpoint penyematan multimodal di Vertex AI dari BigQuery ML untuk membuat penyematan bagi penelusuran semantik |
| Gunakan dua pipeline Vertex AI Tabular Workflows untuk melatih model AutoML menggunakan konfigurasi yang berbeda. | Alur Kerja Tabular: Pipeline Tabular AutoML |
| Gunakan Vertex AI SDK untuk Python guna melatih model AutoML untuk regresi tabel dan mendapatkan prediksi batch dari model tersebut. | Vertex AI SDK untuk Python: Model regresi tabel pelatihan AutoML untuk prediksi batch menggunakan BigQuery |
| Melatih dan mengevaluasi model kecenderungan di BigQuery ML untuk memprediksi retensi pengguna di game seluler. | Prediksi churn untuk developer game yang menggunakan Google Analytics 4 dan BigQuery ML |
| Menggunakan BigQuery ML untuk melakukan pengoptimalan harga pada data harga CDM. | Analisis pengoptimalan harga pada data harga CDM |
Langkah berikutnya
- Untuk mulai menggunakan Vertex AI, lihat: