Introduzione alla gestione delle caratteristiche in Vertex AI

Nel machine learning (ML), le caratteristiche sono attributi caratteristici di un'istanza o entità che puoi utilizzare per addestrare modelli o fare previsioni online. Le funzionalità vengono generate trasformando i dati ML non elaborati in attributi misurabili e condivisibili utilizzando tecniche di feature engineering, in genere denominate trasformazioni delle funzionalità.

Per gestione delle caratteristiche si intende il processo di creazione, manutenzione, condivisione e per la distribuzione di caratteristiche ML archiviate in una posizione centralizzata o in un repository. La gestione delle funzionalità semplifica il riutilizzo delle funzionalità per addestrare e riaddestrare i modelli, riducendo il ciclo di vita dei deployment di AI e ML.

Un prodotto o servizio che include servizi di gestione delle funzionalità per archiviare, scoprire, condividere ed eseguire il servizio di funzionalità di ML è chiamato feature store. Vertex AI include i seguenti servizi di archivio di funzionalità:

Questa pagina presenta e mette a confronto i due servizi di gestione delle funzionalità e fornisce una panoramica delle relative funzionalità. Descrive inoltre come eseguire la migrazione Feature Store esistente in Vertex AI Feature Store (legacy) per nel nuovo Vertex AI Feature Store.

Vertex AI Feature Store

Vertex AI Feature Store offre un nuovo approccio alla gestione delle funzionalità, consentendoti di gestire e pubblicare i dati delle funzionalità da un'origine dati BigQuery. In questo approccio, Vertex AI Feature Store funge da metadati che fornisce funzionalità di pubblicazione online all'origine dati delle caratteristiche in BigQuery e ti consente di distribuire le caratteristiche online in base a questi dati. Non è necessario copiare o importare i dati in un datastore offline separato in Vertex AI.

Vertex AI Feature Store è integrato con Dataplex per monitorare i metadati delle funzionalità. Supporta inoltre gli incorporamenti e ti consente la somiglianza vettoriale consente di cercare i vicini più prossimi.

Vertex AI Feature Store è ottimizzato per la pubblicazione con latenza ultrabassa e ti consente di svolgere le seguenti operazioni:

  • Archivia e gestisci i dati delle caratteristiche offline in BigQuery, sfruttare le funzionalità di gestione dei dati di BigQuery.

  • Condividi e riutilizza le funzionalità aggiungendole al Registro di caratteristiche.

  • Pubblica le funzionalità per le previsioni online a latenze ridotte utilizzando la pubblicazione online tramite Bigtable o a latenze ultra-ridotte utilizzando la pubblicazione online ottimizzata.

  • Memorizza gli embedding nei dati delle funzionalità ed esegui ricerche sulla similarità vettoriale utilizzando la pubblicazione online ottimizzata.

  • Tieni traccia dei metadati delle caratteristiche in Dataplex.

Per scoprire di più su Vertex AI Feature Store, consulta Documentazione di Vertex AI Feature Store.

Vertex AI Feature Store (legacy)

Vertex AI Feature Store (legacy) fornisce un repository centralizzato per archiviare, organizzare e distribuire i dati delle caratteristiche ML. Esegue il provisioning di una gerarchia di risorse che racchiude sia un negozio online che un negozio offline all'interno Vertex AI. L'archivio online fornisce i valori delle funzionalità più recenti per le previsioni online. L'archivio offline archivia e gestisce i dati delle funzionalità (inclusi i dati storici) che puoi pubblicare in batch per l'addestramento dei modelli ML.

Vertex AI Feature Store (legacy) è una soluzione di gestione delle caratteristiche completamente funzionale che ti consente di:

  • Importa i dati delle caratteristiche in batch o in streaming nel negozio offline da un'origine dati, ad esempio un bucket Cloud Storage o un'origine BigQuery.

  • Pubblica le funzionalità online per le previsioni.

  • Fornisce o esporta caratteristiche in batch per l'addestramento o l'analisi del modello ML.

  • Imposta i criteri IAM (Identity and Access Management) su EntityType e Featurestore risorse.

  • Gestisci le risorse del Feature Store dalla console Google Cloud.

Vertex AI Feature Store (legacy) non include la gestione degli incorporamenti o di recupero vettoriale. Se hai bisogno di gestire gli incorporamenti nel tuo caratteristiche o eseguire ricerche di somiglianze vettoriali, valuta la possibilità di passare alle Vertex AI Feature Store. Per informazioni sulla migrazione a Vertex AI Feature Store, consulta Eseguire la migrazione a Vertex AI Feature Store.

Per scoprire di più su Vertex AI Feature Store (legacy), consulta il Documentazione di Vertex AI Feature Store (legacy).

Confronto tra Vertex AI Feature Store e Vertex AI Feature Store (legacy)

La tabella seguente mette a confronto i vari aspetti di Vertex AI Feature Store (legacy) e il nuovo Vertex AI Feature Store:

Categoria Vertex AI Feature Store Vertex AI Feature Store (legacy)
Modelli dei dati
Gerarchia delle risorse (negozio online e offline) La gerarchia delle risorse nel negozio online è la seguente: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore contiene i parametri di configurazione solo per l'archiviazione e il recupero online. Può contenere più risorse FeatureView.
  • FeatureView è un raggruppamento logico di funzionalità in una richiesta di pubblicazione online. Si tratta di una singola risorsa che sostituisce i tipi di entità e le caratteristiche. I dati in una vista delle funzionalità riflettono i valori più recenti delle funzionalità nello spazio di archiviazione BigQuery.
Non sono presenti risorse di datastore offline, poiché i dati risiedono in BigQuery. 		La gerarchia delle risorse è la seguente: Featurestore -> EntityType -> Feature
  • Featurestore contiene i parametri di configurazione sia per gli archivi online che per quelli offline. Può contenere più risorse EntityType.
  • EntityType è una raccolta di caratteristiche semanticamente correlate. Può avere diverse istanze chiamate entità, che possono contenere più risorse Feature.
  • Feature è una proprietà o un attributo di un EntityType.
Gerarchia delle risorse (registro delle funzionalità) La gerarchia delle risorse nel registry delle funzionalità è la seguente: FeatureGroup -> Feature
  • FeatureGroup registra la posizione dell'origine dati BigQuery. Può contenere più risorse Feature.
  • Feature corrisponde a una colonna nell'origine dati registrata con il gruppo di caratteristiche.
 In Vertex AI Feature Store (legacy) non esiste un registry delle funzionalità.
Gestione delle funzionalità
Negozi online e offline Devi creare un'istanza del negozio online e definire le visualizzazioni delle caratteristiche.
Vertex AI Feature Store non richiede un archivio offline separato, perché l'origine dati BigQuery costituisce l'archivio offline. 		Quando esegui il provisioning di un Feature Store, Vertex AI Feature Store (legacy) crea datastore online e offline separati.
Importazione di funzionalità Non è necessario importare i dati negli archivi offline, poiché i dati risiedono in BigQuery, e puoi utilizzarli direttamente per esigenze offline. Per i casi d'uso di pubblicazione online, puoi registrare una tabella BigQuery o una vista come vista di funzionalità che copia i dati delle funzionalità nel negozio online. Vertex AI Feature Store aggiorna i dati nel negozio online durante la sincronizzazione dei dati. Devi importare i dati delle caratteristiche in archivi online e offline utilizzando l'importazione in batch o in flussi da un'origine esterna, ad esempio una tabella BigQuery o una vista BigQuery.
Trasferimento di dati tra negozi online e offline Vertex AI Feature Store utilizza BigQuery come archivio offline e copia solo i valori delle caratteristiche più recenti nell'archivio online. In Vertex AI non è stato eseguito il provisioning di un archivio offline separato. I valori delle caratteristiche vengono copiati nello spazio di archiviazione offline e, di conseguenza, nello spazio di archiviazione online.
Pubblicazione delle funzionalità
Pubblicazione offline Per interagire con l'archivio offline, devi utilizzare le API BigQuery. Le funzionalità di base sono le stesse. Per interagire con il negozio offline, gestito da Vertex AI Feature Store (legacy), devi utilizzare le API Vertex AI. Esempi di queste interazioni sono le ricerche point-in-time e l'esportazione delle caratteristiche.
Distribuzione online

Vertex AI Feature Store offre due tipi di distribuzione online:

  • La pubblicazione online di Bigtable è simile alla pubblicazione online in Vertex AI Feature Store (legacy), ma offre una memorizzazione nella cache migliorata per ridurre gli hotspot. È utile per volumi di dati di grandi dimensioni (terabyte di dati).
  • La distribuzione online ottimizzata è adatta per le esigenze di pubblicazione a latenza ultra-bassa.

Ogni richiesta di lettura online recupera tutte le funzionalità predefinite in una visualizzazione delle funzionalità senza ulteriore elaborazione, il che si traduce in latenze inferiori.

 Vertex AI Feature Store (legacy) fornisce un solo tipo di distribuzione online. Puoi specificare le entità e le caratteristiche per recuperare i dati delle caratteristiche.
Interfacce e API
Funzionalità della console Google Cloud Utilizza la console Google Cloud per creare e gestire risorse, ad esempio istanze di negozi online, istanze di visualizzazione delle funzionalità, gruppi di funzionalità e funzionalità. Puoi anche visualizzare l'elenco dei negozi online e informazioni sulla cronologia delle funzionalità. Utilizza la console Google Cloud per eseguire la maggior parte delle attività di gestione delle funzionalità, incluso il monitoraggio della creazione delle risorse.
API per la creazione di risorse Include le API per creare le risorse FeatureOnlineStore, FeatureView, FeatureGroup e Feature. Queste risorse ti consentono di configurare il registry delle funzionalità e il negozio online. Per il datastore offline viene utilizzato BigQuery. Include le API per creare risorse Featurestore, EntityType e Feature utilizzate negli archivi online e offline.
API di importazione batch (archivio offline) Non richiede API per l'importazione batch nell'archivio offline, perché non è necessario un passaggio separato per l'importazione batch nell'archivio offline. Utilizza le API Vertex AI per l'importazione collettiva nell'archivio offline.
API di importazione batch (archivio online) Copia periodicamente i dati da BigQuery al negozio online durante la sincronizzazione dei dati. Utilizza le API Vertex AI per l'importazione batch nell'archivio online.
API per l'importazione dei flussi di dati (archivio offline) Non richiede API per l'importazione di flussi di dati nell'archivio offline, perché non è necessario un passaggio separato per l'importazione di flussi di dati nell'archivio offline. Utilizza Vertex AI per l'importazione in streaming nell'archivio offline.
API di importazione streaming (negozio online) L'importazione in streaming non è supportata. Utilizza le API Vertex AI per l'importazione di flussi di dati nell'archivio online.
API di recupero dati in batch Utilizza le API BigQuery per pubblicare i dati in batch direttamente dalle origini dati BigQuery definite nelle visualizzazioni delle caratteristiche. Utilizza le API Vertex AI per pubblicare in batch i dati delle caratteristiche.
API di pubblicazione online Utilizza FetchFeatureValues(FetchFeatureValuesRequest) API. Utilizza l'API ReadFeatureValues(ReadFeatureValuesRequest) per la pubblicazione online.

Esegui la migrazione a Vertex AI Feature Store

Le risorse e i dati delle funzionalità di Vertex AI Feature Store (legacy) non sono subito disponibili in Vertex AI Feature Store. Se sei già un utente di Vertex AI Feature Store (legacy) e vuoi eseguire la migrazione del tuo progetto a Vertex AI Feature Store, svolgi i passaggi che seguono. Tieni presente che, poiché la gerarchia delle risorse Vertex AI Feature Store è diverso dalla gerarchia delle risorse in Vertex AI Feature Store (legacy), dovrai creare manualmente dopo aver eseguito la migrazione dei dati delle caratteristiche.

  1. Se i dati delle caratteristiche non sono già disponibili in BigQuery, esportare i dati delle caratteristiche in BigQuery, e creerai tabelle e viste BigQuery. Segui le linee guida per la preparazione dei dati quando esporti e prepari i dati. Ad esempio:

    • Ogni caratteristica corrisponde a una colonna. Gli ID entità possono essere una colonna distinta, che puoi identificare come colonna ID.

    • Vertex AI Feature Store non dispone delle risorse EntityType e Entity. Fornisci i valori delle caratteristiche per ogni entità nella riga corrispondente all'ID entità.

  2. (Facoltativo) Registra l'origine dati delle caratteristiche aggiungendo gruppi di caratteristiche e le funzionalità di machine learning. Per saperne di più, consulta Creare un gruppo di caratteristiche e Crea una caratteristica.

  3. Configura la pubblicazione online creando istanze di archivio online e visualizzazione caratteristiche in base ai dati delle caratteristiche.

Passaggi successivi