Pengantar pengelolaan fitur di Vertex AI

Dalam machine learning (ML), fitur adalah atribut karakteristik dari sebuah instance atau entity yang dapat Anda gunakan untuk melatih model atau membuat prediksi online. Fitur dihasilkan dengan mengubah data ML mentah menjadi atribut yang dapat diukur dan dibagikan menggunakan teknik rekayasa fitur, yang secara umum disebut transformasi fitur.

Pengelolaan fitur mengacu pada proses pembuatan, pemeliharaan, pembagian, dan penyajian fitur ML yang tersimpan di sebuah lokasi atau repositori terpusat. Pengelolaan fitur mempermudah penggunaan ulang fitur untuk melatih dan melatih ulang model, sehingga mengurangi siklus proses deployment AI dan ML.

Produk atau layanan yang mencakup layanan pengelolaan fitur untuk menyimpan, menemukan, membagikan, dan menyajikan fitur ML disebut penyimpanan fitur. Vertex AI menyertakan layanan penyimpanan fitur berikut:

Halaman ini memperkenalkan dan membandingkan kedua layanan pengelolaan fitur serta memberikan ringkasan tentang kapabilitasnya. Ada juga penjelasan tentang cara memigrasikan penyimpanan fitur yang sudah ada di Vertex AI Feature Store (Lama) ke Vertex AI Feature Store baru.

Vertex AI Feature Store

Vertex AI Feature Store menawarkan pendekatan baru dalam pengelolaan fitur dengan memungkinkan Anda memelihara dan menyajikan data fitur dari sumber data BigQuery. Dalam pendekatan ini, Vertex AI Feature Store berfungsi sebagai lapisan metadata yang menyediakan kapabilitas penyajian online ke sumber data fitur di BigQuery dan memungkinkan Anda menyajikan fitur secara online berdasarkan data tersebut. Anda tidak perlu menyalin atau mengimpor data ke penyimpanan offline terpisah di Vertex AI.

Vertex AI Feature Store terintegrasi dengan Dataplex untuk melacak metadata fitur. Solusi ini juga mendukung embedding dan memungkinkan Anda menjalankan penelusuran kemiripan vektor untuk menemukan tetangga terdekat.

Vertex AI Feature Store dioptimalkan untuk penyajian dengan latensi ultra-rendah dan membuat Anda dapat melakukan hal-hal berikut:

  • Menyimpan dan memelihara data fitur offline di BigQuery, dengan manfaatkan kapabilitas pengelolaan data BigQuery.

  • Membagikan dan menggunakan kembali fitur dengan menambahkannya ke registry fitur.

  • Menyajikan fitur untuk prediksi online dengan latensi rendah menggunakan penyaluran online Bigtable atau dengan latensi ultra-rendah menggunakan Penyaluran online yang dioptimalkan.

  • Menyimpan penyematan di data fitur dan menjalankan penelusuran kemiripan vektor menggunakan Penyajian online yang dioptimalkan.

  • Melacak metadata fitur di Dataplex.

Untuk mempelajari Vertex AI Feature Store lebih lanjut, lihat Dokumentasi Vertex AI Feature Store.

Vertex AI Feature Store (Lama)

Vertex AI Feature Store (Lama) menyediakan repositori terpusat untuk menyimpan, mengatur, dan menyajikan data fitur ML. Solusi ini menyediakan hierarki resource yang mengenkapsulasi penyimpanan online dan offline di Vertex AI. Penyimpanan online menyajikan nilai fitur terbaru untuk prediksi online. Penyimpanan offline menyimpan dan memelihara data fitur (termasuk data historis) yang dapat Anda sajikan secara massal untuk melatih model ML.

Vertex AI Feature Store (Lama) adalah layanan pengelolaan fitur yang berfungsi penuh yang memungkinkan Anda melakukan hal berikut:

  • Mengimpor data fitur sebagai batch atau streaming ke penyimpanan offline dari sumber data, seperti bucket Cloud Storage atau sumber BigQuery.

  • Menyajikan fitur secara online untuk prediksi.

  • Menyajikan atau mengekspor fitur sebagai batch untuk analisis atau pelatihan model ML.

  • Menetapkan kebijakan Identity and Access Management (IAM) pada resource EntityType dan Featurestore.

  • Mengelola resource penyimpanan fitur dari Konsol Google Cloud.

Vertex AI Feature Store (Lama) tidak mencakup kapabilitas pengelolaan embedding atau pengambilan vektor. Jika Anda perlu mengelola embedding dalam data fitur atau menjalankan penelusuran kemiripan vektor, pertimbangkan untuk beralih ke Vertex AI Feature Store. Untuk informasi tentang melakukan migrasi ke Vertex AI Feature Store, lihat Bermigrasi ke Vertex AI Feature Store.

Untuk mempelajari lebih lanjut Vertex AI Feature Store (Lama), lihat Dokumentasi Vertex AI Feature Store (Lama).

Perbandingan antara Vertex AI Feature Store dan Vertex AI Feature Store (Lama)

Tabel berikut membandingkan berbagai aspek Vertex AI Feature Store (Lama) dan Vertex AI Feature Store baru:

Kategori Vertex AI Feature Store Vertex AI Feature Store (Lama)
Model data
Hierarki resource (penyimpanan online dan offline) Hierarki resource di penyimpanan online adalah sebagai berikut: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore berisi parameter konfigurasi untuk pengambilan dan penyimpanan online saja. Dapat berisi beberapa resource FeatureView.
  • FeatureView adalah pengelompokan fitur secara logis dalam permintaan penyajian online. Merupakan resource tunggal yang menggantikan fitur dan jenis entity. Data dalam tampilan fitur mencerminkan nilai fitur terbaru di penyimpanan BigQuery.
Tidak ada resource penyimpanan offline karena data berada di BigQuery. 		Hierarki resource adalah sebagai berikut: Featurestore -> EntityType -> Feature
  • Featurestore berisi parameter konfigurasi baik untuk penyimpanan online maupun offline. Dapat berisi beberapa resource EntityType.
  • EntityType adalah kumpulan fitur yang terkait secara semantik. Dapat memiliki beberapa instance yang disebut entity, yang dapat berisi beberapa resource Feature.
  • Feature adalah properti atau atribut dari EntityType.
Hierarki resource (registry fitur) Hierarki resource di registry fitur adalah sebagai berikut: FeatureGroup -> Feature
  • FeatureGroup mendaftarkan lokasi sumber data BigQuery. Dapat berisi beberapa resource Feature.
  • Feature berkaitan dengan kolom di sumber data yang terdaftar ke grup fitur.
 Registry fitur tidak ada di Vertex AI Feature Store (Lama).
Pengelolaan fitur
Penyimpanan online dan offline Anda harus membuat instance penyimpanan online dan menentukan tampilan fitur.
Vertex AI Feature Store tidak memerlukan penyimpanan offline terpisah, karena sumber data BigQuery merupakan penyimpanan offline. 		Saat Anda menyediakan penyimpanan fitur, Vertex AI Feature Store (Lama) akan membuat penyimpanan online dan offline terpisah.
Pengimporan fitur Anda tidak perlu mengimpor data ke penyimpanan offline, karena data berada di BigQuery, dan Anda dapat menggunakannya langsung untuk kebutuhan offline. Untuk kasus penggunaan penyajian online, Anda dapat mendaftarkan tabel BigQuery, atau melihatnya sebagai tampilan fitur, yang menyalin data fitur ke penyimpanan online. Vertex AI Feature Store memperbarui data di penyimpanan online selama sinkronisasi data. Anda perlu mengimpor data fitur ke penyimpanan offline dan online dengan menggunakan impor batch atau streaming dari sumber eksternal, seperti tabel BigQuery atau tampilan BigQuery.
Perpindahan data antara penyimpanan online dan offline Vertex AI Feature Store menggunakan BigQuery sebagai penyimpanan offline-nya dan hanya menyalin nilai fitur terbaru ke penyimpanan online. Tidak ada penyimpanan offline terpisah yang disediakan di Vertex AI. Nilai fitur disalin ke penyimpanan offline, baru kemudian ke penyimpanan online.
Penyajian fitur
Penyajian offline Untuk berinteraksi dengan penyimpanan offline, Anda perlu menggunakan API BigQuery. Kapabilitas dasarnya sama. Untuk berinteraksi dengan penyimpanan offline yang dikelola oleh Vertex AI Feature Store (Lama), Anda perlu menggunakan API Vertex AI. Contoh interaksi ini adalah pencarian Point-in-Time dan pengeksporan fitur.
Penyaluran online

Vertex AI Feature Store menyediakan dua jenis penyajian online:

  • Penyaluran online Bigtable mirip dengan penyajian online di Vertex AI Feature Store (Lama), tetapi menyediakan caching yang lebih baik untuk mengurangi hotspotting. Kapabilitas ini berguna untuk volume data yang besar (dalam skala terabyte).
  • Penayangan online yang dioptimalkan cocok untuk kebutuhan penayangan dengan latensi ultra-rendah.

Setiap permintaan baca online mengambil semua fitur yang telah ditetapkan di tampilan fitur tanpa pemrosesan tambahan, sehingga menghasilkan latensi yang lebih rendah.

 Vertex AI Feature Store (Lama) hanya menyediakan satu jenis penyajian online. Anda dapat menentukan entity dan fitur untuk mengambil data fitur.
Antarmuka dan API
Fitur Konsol Google Cloud Gunakan konsol Google Cloud untuk membuat dan mengelola resource, seperti instance toko online, instance tampilan fitur, grup fitur, dan fitur. Anda juga dapat melihat daftar penyimpanan online dan informasi tentang silsilah fitur. Gunakan Konsol Google Cloud untuk menjalankan sebagian besar tugas pengelolaan fitur, termasuk pemantauan pembuatan resource.
API pembuatan resource Mencakup API untuk membuat resource FeatureOnlineStore, FeatureView, FeatureGroup, dan Feature. Resource ini memungkinkan Anda menyiapkan registry fitur dan penyimpanan online. Untuk penyimpanan offline, BigQuery digunakan. Mencakup API untuk membuat resource Featurestore, EntityType, dan Feature yang digunakan di penyimpanan online dan offline.
Impor batch API (penyimpanan offline) Tidak memerlukan API untuk impor batch ke penyimpanan offline, karena langkah impor batch terpisah ke penyimpanan offline tidak diperlukan. Menggunakan API Vertex AI untuk impor batch ke penyimpanan offline.
Impor batch API (penyimpanan online) Menyalin data secara berkala dari BigQuery ke penyimpanan online selama sinkronisasi data. Menggunakan API Vertex AI untuk impor batch ke penyimpanan online.
Impor streaming API (penyimpanan offline) Tidak memerlukan API untuk impor streaming ke penyimpanan offline, karena langkah impor streaming terpisah ke penyimpanan offline tidak diperlukan. Menggunakan Vertex AI untuk impor streaming ke penyimpanan offline.
Impor streaming API (penyimpanan online) Impor streaming tidak didukung. Menggunakan API Vertex AI untuk impor streaming ke penyimpanan online.
Penyajian API sebagai batch Menggunakan API BigQuery untuk menyajikan data sebagai batch langsung dari sumber data BigQuery yang ditentukan di tampilan fitur. Menggunakan API Vertex AI untuk menyajikan data fitur sebagai batch.
Penyajian API secara online Menggunakan FetchFeatureValues(FetchFeatureValuesRequest) API. Menggunakan ReadFeatureValues(ReadFeatureValuesRequest) API untuk penyajian online.

Bermigrasi ke Vertex AI Feature Store

Resource dan data fitur Vertex AI Feature Store (Lama) tidak tersedia di Vertex AI Feature Store. Jika Anda sudah menjadi pengguna Vertex AI Feature Store (Lama) dan ingin memigrasikan project ke Vertex AI Feature Store, lakukan langkah-langkah berikut. Perlu diketahui bahwa karena hierarki resource di Vertex AI Feature Store berbeda dengan hierarki resource di Vertex AI Feature Store (Lama), Anda harus membuat resource secara manual setelah memigrasikan data fitur.

  1. Jika data fitur Anda belum tersedia di BigQuery, ekspor data fitur tersebut ke BigQuery, lalu buat tabel dan tampilan BigQuery. Ikuti Panduan persiapan data saat mengekspor dan menyiapkan data. Contoh:

    • Setiap fitur bersesuaian dengan sebuah kolom. ID entity dapat berupa kolom terpisah, yang dapat diidentifikasi sebagai kolom ID.

    • Vertex AI Feature Store tidak memiliki resource EntityType dan Entity. Masukkan nilai fitur untuk setiap entity di baris yang terkait dengan ID entity tersebut.

  2. Opsional: Daftarkan sumber data fitur Anda dengan menambahkan grup fitur dan fitur. Untuk informasi selengkapnya, lihat Membuat grup fitur dan Membuat fitur.

  3. Siapkan penyajian online dengan membuat instance penyimpanan online dan tampilan fitur berdasarkan data fitur.

Apa langkah selanjutnya?