Vertex AI Feature Store adalah layanan penyimpanan fitur terkelola berbasis cloud yang merupakan bagian tak terpisahkan dari Vertex AI. Solusi ini menyederhanakan pengelolaan fitur ML dan proses penyaluran online dengan memungkinkan Anda mengelola data fitur dalam tabel atau tampilan BigQuery. Anda kemudian dapat menyalurkan fitur secara online langsung dari sumber data BigQuery.
Vertex AI Feature Store menyediakan resource yang memungkinkan Anda menyiapkan penyaluran online dengan menentukan sumber data fitur Anda. Kemudian, lapisan metadata ini berfungsi sebagai lapisan metadata yang bersinggungan dengan sumber data BigQuery dan menyalurkan nilai fitur terbaru langsung dari BigQuery untuk prediksi online dengan latensi rendah.
Di Vertex AI Feature Store, tabel atau tampilan BigQuery yang berisi data fitur secara kolektif membentuk penyimpanan offline. Anda dapat mempertahankan nilai fitur, termasuk data fitur historis, di penyimpanan offline. Karena semua data fitur dikelola di BigQuery, Vertex AI Feature Store tidak perlu menyediakan penyimpanan offline terpisah dalam Vertex AI. Selain itu, jika ingin menggunakan data di penyimpanan offline untuk melatih model ML, Anda dapat menggunakan API dan kemampuan di BigQuery untuk mengekspor atau mengambil data.
Alur kerja untuk menyiapkan dan memulai penyaluran online menggunakan Vertex AI Feature Store dapat dirangkum sebagai berikut:
Persiapkan sumber data Anda di BigQuery.
Opsional: Daftarkan sumber data Anda dengan membuat grup fitur dan fitur.
Siapkan referensi penyimpanan online dan tampilan fitur untuk menghubungkan sumber data fitur dengan cluster penyaluran online.
Menyajikan nilai fitur terbaru secara online dari tampilan fitur.
Model data dan resource Vertex AI Feature Store
Bagian ini menjelaskan model data dan resource yang terkait dengan aspek Vertex AI Feature Store berikut:
Persiapan sumber data di BigQuery
Selama penyaluran online, Vertex AI Feature Store menggunakan data fitur dari sumber data BigQuery. Sebelum menyiapkan Feature Registry atau resource penyaluran online, Anda harus menyimpan data fitur dalam satu atau beberapa tabel atau tampilan BigQuery.
Dalam tabel atau tampilan BigQuery, setiap kolom mewakili sebuah fitur. Setiap baris berisi nilai fitur yang sesuai dengan ID unik. Untuk mengetahui informasi selengkapnya tentang cara menyiapkan data fitur di BigQuery, lihat Menyiapkan sumber data.
Misalnya, dalam gambar 1, tabel BigQuery menyertakan kolom berikut:
f1danf2: Kolom fitur.entity_id: Kolom ID yang berisi ID unik untuk mengidentifikasi setiap data fitur.feature_timestamp: Kolom stempel waktu.
Karena Anda menyiapkan sumber data di BigQuery, bukan di Vertex AI, Anda tidak perlu membuat resource Vertex AI apa pun pada tahap ini.
Penyiapan Registry Fitur
Setelah menyiapkan sumber data di BigQuery, Anda dapat mendaftarkan sumber data tersebut, termasuk kolom fitur tertentu, di Registry Fitur.
Mendaftarkan fitur Anda bersifat opsional. Anda dapat menyalurkan fitur secara online meskipun tidak menambahkan sumber data BigQuery ke Registry Fitur. Namun, mendaftarkan fitur Anda akan menguntungkan dalam skenario berikut:
Data Anda berisi beberapa instance ID entity yang sama dan Anda harus menyiapkan data dalam format deret waktu dengan kolom stempel waktu. Saat Anda mendaftarkan fitur, Vertex AI Feature Store akan mencari stempel waktu dan hanya menyalurkan nilai fitur terbaru.
Anda ingin mendaftarkan kolom fitur tertentu dari sumber data.
Anda ingin menggabungkan kolom tertentu dari beberapa sumber data untuk menentukan instance tampilan fitur.
Resource Feature Registry
Untuk mendaftarkan data fitur di Registry Fitur, Anda perlu membuat resource Vertex AI Feature Store berikut:
Grup fitur (
FeatureGroup): ResourceFeatureGroupdikaitkan dengan tabel atau tampilan sumber BigQuery tertentu. Elemen ini mewakili pengelompokan kolom fitur secara logis, yang direpresentasikan oleh resourceFeature. Untuk mengetahui informasi tentang cara membuat grup fitur, lihat Membuat grup fitur.Fitur (
Feature): ResourceFeaturemewakili kolom tertentu yang berisi nilai fitur dari sumber data fitur yang terkait dengan resourceFeatureGroupinduknya. Untuk informasi cara membuat fitur dalam grup fitur, lihat Membuat fitur.
Misalnya, gambar 2 mengilustrasikan grup fitur termasuk kolom fitur f1 dan f2, yang bersumber dari tabel BigQuery yang terkait dengan grup fitur. Sumber data BigQuery berisi empat kolom fitur—dua kolom digabungkan untuk membentuk grup fitur.
FeatureGroup yang berisi dua kolom Feature yang bersumber dari sumber data BigQuery.Penyiapan penyaluran online
Untuk menyalurkan fitur untuk prediksi online, Anda harus menentukan dan mengonfigurasi setidaknya satu cluster penyaluran online, dan mengaitkannya dengan sumber data fitur atau resource Registry Fitur Anda. Di Vertex AI Feature Store, cluster penyaluran online disebut instance penyimpanan online. Instance penyimpanan online dapat berisi beberapa instance tampilan fitur, tempat setiap tampilan fitur dikaitkan dengan sumber data fitur.
Referensi penyaluran online
Untuk menyiapkan penyaluran online, Anda harus membuat resource Vertex AI Feature Store berikut:
Penyimpanan online (
FeatureOnlineStore): ResourceFeatureOnlineStoremewakili instance cluster penyaluran online dan berisi konfigurasi penyaluran online, seperti jumlah node penyaluran online. Instance penyimpanan online tidak menentukan sumber data fitur, tetapi berisi resourceFeatureViewyang menentukan sumber data fitur di BigQuery atau Registry Fitur. Untuk mengetahui informasi tentang cara membuat instance penyimpanan online, lihat Membuat instance penyimpanan online.Tampilan fitur (
FeatureView): ResourceFeatureViewadalah kumpulan fitur logis dalam instance penyimpanan online. Saat membuat tampilan fitur, Anda dapat menentukan lokasi sumber data fitur dengan salah satu cara berikut:Mengaitkan satu atau beberapa grup fitur dan fitur dari Registry Fitur. Grup fitur menentukan lokasi sumber data BigQuery. Fitur dalam grup fitur mengarah ke kolom fitur tertentu di dalam sumber data tersebut.
Atau, kaitkan tabel sumber atau tampilan BigQuery.
Untuk mengetahui informasi tentang cara membuat instance tampilan fitur dalam penyimpanan online, lihat Membuat tampilan fitur.
Misalnya, gambar 3 mengilustrasikan tampilan fitur yang terdiri dari kolom fitur f2 dan f4, yang bersumber dari dua grup fitur terpisah yang terkait dengan tabel BigQuery.
FeatureView yang berisi fitur dari dua grup fitur yang terpisah.Penyaluran online
Vertex AI Feature Store menyediakan jenis penyajian online berikut untuk prediksi online real-time:
Penayangan online Bigtable berguna untuk menayangkan volume data besar (data dalam skala terabyte). Layanan ini mirip dengan penyajian online di Vertex AI Feature Store (Lama) dan menyediakan caching yang lebih baik untuk mengurangi hotspotting. Penyaluran online Bigtable tidak mendukung penyematan. Jika Anda perlu menayangkan data dalam jumlah besar yang sering diperbarui dan tidak perlu menayangkan penyematan, gunakan penyaluran online Bigtable.
Penyaluran online yang dioptimalkan memungkinkan Anda menyalurkan fitur secara online dengan latensi ultra-rendah. Meskipun latensi penyaluran online bergantung pada beban kerja, Penyaluran online yang dioptimalkan dapat memberikan latensi yang lebih rendah daripada penyaluran online Bigtable dan direkomendasikan untuk sebagian besar skenario. Penyaluran online yang dioptimalkan juga mendukung pengelolaan penyematan.
Untuk menggunakan penayangan online yang Dioptimalkan, Anda perlu mengonfigurasi endpoint publik atau endpoint Private Service Connect khusus.
Untuk mempelajari cara menyiapkan penyaluran online di Vertex AI Feature Store setelah Anda menyiapkan fitur, lihat Jenis penyaluran online.
Penyaluran offline untuk prediksi batch atau pelatihan model
Karena Anda tidak perlu menyalin atau mengimpor data fitur dari BigQuery ke penyimpanan offline terpisah di Vertex AI, Anda dapat menggunakan kemampuan pengelolaan data dan ekspor BigQuery untuk melakukan hal berikut:
Membuat kueri data fitur, termasuk data historis pada waktu tertentu.
Melakukan prapemrosesan dan mengekspor data fitur untuk pelatihan model dan prediksi batch.
Untuk informasi selengkapnya tentang machine learning menggunakan BigQuery, lihat pengantar BigQuery ML.
Persyaratan Vertex AI Feature Store
Istilah yang terkait dengan rekayasa fitur
rekayasa fitur
- Rekayasa fitur adalah proses mengubah data mentah machine learning (ML) menjadi fitur yang dapat digunakan untuk melatih model ML atau membuat prediksi.
fitur
- Dalam machine learning (ML), fitur adalah karakteristik atau atribut instance atau entity yang digunakan sebagai input untuk melatih model ML atau membuat prediksi.
nilai fitur
- Nilai fitur sesuai dengan nilai aktual dan terukur fitur (atribut) dari sebuah instance atau entity. Kumpulan nilai fitur untuk entity unik yang mewakili data fitur yang sesuai dengan entity.
stempel waktu fitur
- Stempel waktu fitur menunjukkan kapan serangkaian nilai fitur dalam kumpulan data fitur tertentu untuk entity dihasilkan.
kumpulan data fitur
- Kumpulan data fitur adalah penggabungan semua nilai fitur yang mendeskripsikan atribut entitas unik pada titik waktu tertentu.
Istilah yang terkait dengan Registry Fitur
registry fitur
- Registry fitur adalah antarmuka pusat untuk merekam sumber data fitur yang ingin Anda sajikan untuk prediksi online. Untuk informasi selengkapnya, lihat Penyiapan Feature Registry.
grup fitur
- Grup fitur adalah resource registry fitur yang sesuai dengan tabel sumber BigQuery atau tampilan yang berisi data fitur. Tampilan fitur mungkin berisi fitur dan dapat dianggap sebagai pengelompokan kolom fitur yang logis dalam sumber data.
Istilah yang terkait dengan penyajian fitur
penyajian fitur
- Penyajian fitur adalah proses mengekspor atau mengambil nilai fitur untuk pelatihan atau inferensi. Di Vertex AI, ada dua jenis penyajian fitur, yaitu layanan online dan offline. Penyajian online mengambil nilai fitur terbaru dari subset sumber data fitur untuk prediksi online. Penyaluran batch secara offline atau batch mengekspor data fitur dalam jumlah besar untuk pemrosesan offline, seperti pelatihan model ML.
penyimpanan offline
- Penyimpanan offline adalah fasilitas penyimpanan yang menyimpan data fitur terbaru dan historis, yang biasanya digunakan untuk melatih model ML. Penyimpanan offline juga berisi nilai fitur terbaru, yang dapat Anda sajikan untuk prediksi online.
penyimpanan online
- Dalam pengelolaan fitur, penyimpanan online adalah fasilitas penyimpanan untuk nilai fitur terbaru yang akan ditayangkan untuk prediksi online.
tampilan fitur
- Tampilan fitur adalah kumpulan logis fitur yang terwujud dari sumber data BigQuery ke instance penyimpanan online. Tampilan fitur menyimpan dan memperbarui data fitur pelanggan secara berkala, yang diperbarui secara berkala dari sumber BigQuery. Tampilan fitur dikaitkan dengan penyimpanan data fitur baik secara langsung maupun melalui pengaitan ke resource registry fitur.
Batasan lokasi
Semua resource Vertex AI Feature Store harus berada di
region yang sama atau lokasi multi-regional yang sama dengan sumber data
BigQuery Anda. Misalnya, jika sumber data fitur berada di us-central1, Anda harus membuat instance FeatureOnlineStore hanya di us-central1 atau di lokasi multi-region US.
Metadata fitur
Vertex AI Feature Store terintegrasi dengan Dataplex untuk menyediakan kemampuan tata kelola fitur, termasuk metadata fitur. Instance toko online, tampilan fitur, dan grup fitur otomatis terdaftar sebagai aset data di Data Catalog, fitur Dataplex yang mengatalogkan metadata dari resource ini. Selanjutnya, Anda dapat menggunakan kemampuan penelusuran metadata Dataplex untuk menelusuri, melihat, dan mengelola metadata untuk resource ini. Untuk informasi selengkapnya tentang cara menelusuri resource Vertex AI Feature Store di Dataplex, lihat Menelusuri metadata resource di Data Catalog.
Label fitur
Anda dapat menambahkan label ke resource selama atau setelah pembuatan resource. Untuk mengetahui informasi selengkapnya tentang cara menambahkan label ke resource Vertex AI Feature Store yang ada, lihat Memperbarui label.
Metadata versi resource
Vertex AI Feature Store hanya mendukung versi 0 untuk fitur.
Pengelolaan embedding dan pengambilan vektor
Penyaluran online yang dioptimalkan di Vertex AI Feature Store mendukung
pengelolaan penyematan. Anda dapat menyimpan penyematan di BigQuery sebagai array double reguler. Dengan menggunakan kemampuan pengelolaan embedding
Vertex AI Feature Store, Anda dapat melakukan penelusuran kesamaan vektor
untuk mengambil entity yang merupakan perkiraan terdekat untuk entity atau nilai
embedding yang ditentukan.
Untuk menggunakan pengelolaan embedding di Vertex AI Feature Store, Anda perlu melakukan hal berikut:
Siapkan sumber data BigQuery untuk mendukung embedding dengan menyertakan kolom
embedding. Atau, sertakan kolom pemfilteran dan kepadatan. Untuk informasi selengkapnya, lihat Panduan persiapan sumber data.Buat instance toko online untuk Penyaluran online yang dioptimalkan.
Tentukan kolom
embeddingsaat membuat tampilan fitur. Untuk mengetahui informasi selengkapnya tentang cara membuat tampilan fitur yang mendukung embedding, lihat Mengonfigurasi pengambilan vektor untuk tampilan fitur.
Untuk mengetahui informasi tentang cara melakukan penelusuran kesamaan vektor di Vertex AI Feature Store, lihat Melakukan penelusuran vektor untuk entity.
Retensi data
Vertex AI Feature Store mempertahankan nilai fitur terbaru untuk ID unik, berdasarkan stempel waktu yang terkait dengan nilai fitur dalam sumber data. Tidak ada batas retensi data di penyimpanan online.
Karena penyimpanan offline disediakan oleh BigQuery, batas atau kuota retensi data dari BigQuery mungkin berlaku untuk sumber data fitur, termasuk nilai fitur historis. Pelajari kuota dan batas di BigQuery lebih lanjut.
Kuota dan batas
Vertex AI Feature Store menerapkan kuota dan batas untuk membantu Anda mengelola resource dengan menetapkan batas penggunaan, dan melindungi komunitas pengguna Google Cloud dengan mencegah lonjakan penggunaan yang tidak terduga. Untuk menggunakan resource Vertex AI Feature Store secara efisien tanpa mencapai batasan ini, tinjau kuota dan batas Vertex AI Feature Store.
Harga
Untuk mengetahui informasi tentang harga penggunaan resource untuk Vertex AI Feature Store, lihat Harga Vertex AI Feature Store.
Tutorial notebook
Gunakan contoh dan tutorial berikut untuk mempelajari Vertex AI Feature Store lebih lanjut.
Penyajian fitur online dan pengambilan data BigQuery dengan penyajian online Bigtable Vertex AI Feature Store
|
Dalam tutorial ini, Anda akan mempelajari cara menggunakan penyaluran online Bigtable di Vertex AI Feature Store untuk penyaluran online dan pengambilan nilai fitur di BigQuery. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Penyajian fitur online dan pengambilan data BigQuery dengan Penyaluran online yang dioptimalkan Vertex AI Feature Store
|
|
Dalam tutorial ini, Anda akan mempelajari cara menggunakan Penyaluran online yang dioptimalkan di Vertex AI Feature Store untuk menyalurkan dan mengambil nilai fitur dari BigQuery. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Penyajian fitur online dan pengambilan vektor data BigQuery dengan Vertex AI Feature Store
|
|
Dalam tutorial ini, Anda akan mempelajari cara menggunakan Vertex AI Feature Store untuk penyaluran online dan pengambilan vektor nilai fitur di BigQuery. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Agen Layanan tampilan fitur Vertex AI Feature Store
|
|
Dalam tutorial ini, Anda akan mempelajari cara mengaktifkan Agen Layanan tampilan fitur dan memberikan akses ke setiap tampilan fitur ke data sumber tertentu yang digunakan. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Tutorial grounding LLM berbasis Vertex AI Feature Store
|
|
Dalam tutorial ini, Anda akan mempelajari cara mengelompokkan data yang disediakan pengguna, lalu membuat vektor penyematan untuk setiap bagian menggunakan Model Bahasa Besar (LLM) yang memiliki kemampuan pembuatan penyematan. Set data vektor penyematan yang dihasilkan kemudian dapat dimuat ke Vertex AI Feature Store, sehingga memungkinkan pengambilan fitur yang cepat dan penayangan online yang efisien. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Mem-build aplikasi RAG GenAI dengan Vertex AI Feature Store dan BigQuery
|
|
Dalam tutorial ini, Anda akan mempelajari cara membuat sistem penelusuran vektor latensi rendah untuk aplikasi AI Generatif menggunakan penelusuran vektor BigQuery dan Vertex AI Feature Store. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Mengonfigurasi Kebijakan IAM di Vertex AI Feature Store
|
|
Dalam tutorial ini, Anda akan mempelajari cara mengonfigurasi kebijakan IAM untuk mengontrol akses ke resource dan data yang disimpan dalam Vertex AI Feature Store. Buka di Colab | Buka di Colab Enterprise | Lihat di GitHub | Buka di notebook Vertex AI Workbench yang dikelola pengguna |
Langkah selanjutnya
Pelajari cara menyiapkan data Anda di BigQuery.
Pelajari cara membuat grup fitur dan fitur.
Pelajari cara membuat instance penyimpanan online.