Introduzione alla gestione delle funzionalità in Vertex AI

Nel machine learning (ML), le caratteristiche sono attributi caratteristici di un'istanza o di un'entità che puoi usare per addestrare modelli o fare previsioni online. Le caratteristiche vengono generate trasformando i dati non elaborati di ML in attributi misurabili e condivisibili utilizzando tecniche di feature engineering, generalmente note come trasformazioni delle caratteristiche.

Per gestione delle caratteristiche si intende il processo di creazione, mantenimento, condivisione e gestione di caratteristiche ML archiviate in una posizione o in un repository centralizzato. La gestione delle caratteristiche semplifica il riutilizzo delle caratteristiche per addestrare e riaddestrare i modelli, riducendo il ciclo di vita dei deployment AI e ML.

Un prodotto o servizio che include servizi di gestione delle funzionalità per archiviare, scoprire, condividere e pubblicare caratteristiche di ML viene chiamato featurestore. Vertex AI incorpora i seguenti servizi di Feature Store:

Questa pagina presenta e confronta i due servizi di gestione delle funzionalità e fornisce una panoramica delle loro funzionalità. Descrive inoltre come eseguire la migrazione di un Feature Store esistente in Vertex AI Feature Store (legacy) al nuovo Vertex AI Feature Store.

Vertex AI Feature Store

Vertex AI Feature Store offre un nuovo approccio alla gestione delle caratteristiche, consentendoti di gestire e gestire i dati delle caratteristiche da un'origine dati BigQuery. In questo approccio, Vertex AI Feature Store funge da livello di metadati che fornisce funzionalità di pubblicazione online alla tua origine dati delle caratteristiche in BigQuery e ti consente di gestire le caratteristiche online sulla base di questi dati. Non è necessario copiare o importare i dati in un archivio offline separato in Vertex AI.

Vertex AI Feature Store è integrato con Dataplex per monitorare i metadati delle funzionalità. Supporta anche gli incorporamenti e consente di eseguire ricerche di somiglianze vettoriali per i vicini più prossimi.

Vertex AI Feature Store è ottimizzato per la pubblicazione a bassissima latenza e ti consente di:

  • Archivia e gestisci i dati delle funzionalità offline in BigQuery, sfruttando le funzionalità di gestione dei dati di BigQuery.

  • Condividi e riutilizza le funzionalità aggiungendole al registro di funzionalità.

  • Gestisci le funzionalità per le previsioni online con latenze basse utilizzando la pubblicazione online di Bigtable o con latenze molto basse utilizzando la pubblicazione online ottimizzata.

  • Archivia gli incorporamenti nei dati delle caratteristiche ed esegui ricerche di somiglianze vettoriali.

  • Monitora i metadati delle funzionalità in Dataplex.

Per saperne di più su Vertex AI Feature Store, consulta la documentazione di Vertex AI Feature Store.

Feature Store Vertex AI (legacy)

Vertex AI Feature Store (legacy) fornisce un repository centralizzato per archiviare, organizzare e pubblicare i dati delle funzionalità ML. Fornisce una gerarchia di risorse che incapsula sia un negozio online che un archivio offline all'interno di Vertex AI. Il negozio online gestisce i valori delle caratteristiche più recenti per le previsioni online. L'archivio offline archivia e gestisce i dati delle funzionalità (inclusi i dati storici) che puoi gestire in batch per l'addestramento di modelli ML.

Vertex AI Feature Store (legacy) è un servizio di gestione delle funzionalità completamente funzionale che ti consente di:

  • Trasmetti in modalità flusso o batch di dati delle caratteristiche di importazione nell'archivio offline da un'origine dati, come un bucket Cloud Storage o un'origine BigQuery.

  • Pubblica le funzionalità online per le previsioni.

  • Funzionalità di pubblicazione o esportazione in batch per l'addestramento o l'analisi dei modelli ML.

  • Imposta i criteri di Identity and Access Management (IAM) per le risorse EntityType e Featurestore.

  • Gestisci le risorse del Feature Store dalla console Google Cloud.

Vertex AI Feature Store (legacy) non include funzionalità di gestione degli incorporamenti o di recupero vettoriale. Se devi gestire gli incorporamenti nei dati delle caratteristiche o eseguire ricerche di somiglianze vettoriali, valuta la possibilità di passare a Vertex AI Feature Store. Per informazioni sulla migrazione a Vertex AI Feature Store, consulta Eseguire la migrazione a Vertex AI Feature Store.

Per scoprire di più su Vertex AI Feature Store (legacy), consulta la documentazione di Vertex AI Feature Store (legacy).

Confronto tra Vertex AI Feature Store e Vertex AI Feature Store (legacy)

La tabella seguente mette a confronto i vari aspetti di Vertex AI Feature Store (legacy) e del nuovo Vertex AI Feature Store:

Categoria Vertex AI Feature Store Feature Store Vertex AI (legacy)
Modelli dei dati
Gerarchia delle risorse (negozio online e offline) La gerarchia delle risorse nel datastore online è la seguente: FeatureOnlineStore -> FeatureView
  • FeatureOnlineStore contiene i parametri di configurazione solo per l'archiviazione e il recupero online. Può contenere più risorse FeatureView.
  • FeatureView è un raggruppamento logico di funzionalità in una richiesta di pubblicazione online. È una singola risorsa che sostituisce tipi di entità e caratteristiche. I dati in una visualizzazione caratteristiche riflettono i valori più recenti delle funzionalità nello spazio di archiviazione di BigQuery.
Non sono presenti risorse di archiviazione offline, poiché i dati si trovano in BigQuery.
La gerarchia delle risorse è la seguente: Featurestore -> EntityType -> Feature
  • Featurestore contiene i parametri di configurazione per gli archivi online e offline. Può contenere più risorse EntityType.
  • EntityType è una raccolta di elementi semanticamente correlati. Può avere diverse istanze chiamate entità, che possono contenere più risorse Feature.
  • Feature è una proprietà o un attributo di un EntityType.
Gerarchia delle risorse (registro di caratteristiche) La gerarchia delle risorse nel registro delle caratteristiche è la seguente: FeatureGroup -> Feature
  • FeatureGroup registra la posizione dell'origine dati BigQuery. Può contenere più risorse Feature.
  • Feature corrisponde a una colonna nell'origine dati registrata con il gruppo di caratteristiche.
Non esiste un registro di caratteristiche in Vertex AI Feature Store (legacy).
Gestione delle funzionalità
Negozi online e offline Devi creare un'istanza del negozio online e definire le visualizzazioni delle caratteristiche.
Vertex AI Feature Store non richiede un archivio offline separato, perché l'origine dati BigQuery costituisce l'archivio offline.
Quando esegui il provisioning di un Feature Store, Vertex AI Feature Store (Legacy) crea negozi online e offline separati.
Importazione delle caratteristiche Non è necessario importare dati negli archivi offline, poiché i dati risiedono in BigQuery e puoi utilizzarli direttamente per esigenze offline. Per i casi d'uso della pubblicazione online, puoi registrare una tabella BigQuery, o visualizzarla come visualizzazione caratteristiche, che copia i dati delle caratteristiche nel negozio online. Vertex AI Feature Store aggiorna i dati nel negozio online durante la sincronizzazione dei dati. Devi importare i dati delle caratteristiche negli archivi online e offline utilizzando l'importazione batch o flusso da un'origine esterna, come una tabella BigQuery o una vista BigQuery.
Spostamento dei dati tra negozi online e offline Vertex AI Feature Store utilizza BigQuery come archivio offline e copia solo i valori delle funzionalità più recenti nell'archivio online. In Vertex AI non è stato eseguito il provisioning di un archivio offline separato. I valori delle caratteristiche vengono copiati nello spazio di archiviazione offline e, successivamente, nello spazio di archiviazione online.
Pubblicazione delle funzionalità
Pubblicazione offline Per interagire con l'archivio offline, devi utilizzare le API BigQuery. Le funzionalità di base sono le stesse. Per interagire con l'archivio offline, che è gestito da Vertex AI Feature Store (legacy), devi utilizzare le API Vertex AI. Esempi di queste interazioni sono le ricerche point-in-time e le funzionalità di esportazione.
Distribuzione online

Vertex AI Feature Store offre due tipi di pubblicazione online:

  • La pubblicazione online di Bigtable è simile a quella in Vertex AI Feature Store (legacy), ma offre una memorizzazione nella cache migliorata per mitigare l'hotspot. È utile per volumi di dati di grandi dimensioni (terabyte di dati).
  • La pubblicazione online ottimizzata è adatta per esigenze di pubblicazione a latenza molto bassa.

Ogni richiesta di lettura online recupera tutte le funzionalità preimpostate in una visualizzazione caratteristiche senza elaborazioni aggiuntive, con conseguente riduzione delle latenze.

Vertex AI Feature Store (legacy) fornisce un solo tipo di pubblicazione online. Puoi specificare le entità e le caratteristiche per recuperare i dati delle caratteristiche.
Interfacce e API
Funzionalità della console Google Cloud Utilizza la console Google Cloud per creare e gestire risorse, ad esempio istanze di negozi online, istanze di visualizzazione caratteristiche, gruppi di funzionalità e funzionalità. Puoi anche visualizzare l'elenco dei negozi online e informazioni sulla derivazione delle caratteristiche. Utilizza la console Google Cloud per eseguire la maggior parte delle attività di gestione delle funzionalità, incluso il monitoraggio della creazione di risorse.
API per la creazione di risorse Include le API per creare le risorse FeatureOnlineStore, FeatureView, FeatureGroup e Feature. Queste risorse ti consentono di configurare il registro di caratteristiche e l'archivio online. Per l'archivio offline, viene utilizzato BigQuery. Include le API per creare risorse Featurestore, EntityType e Feature utilizzate negli archivi online e offline.
API di importazione in batch (archivio offline) Non richiede API per l'importazione batch nell'archivio offline, perché non è necessario un passaggio di importazione batch separato nell'archivio offline. Utilizza le API Vertex AI per l'importazione batch nell'archivio offline.
API di importazione batch (negozio online) Copia periodicamente i dati da BigQuery al negozio online durante la sincronizzazione dei dati. Utilizza le API Vertex AI per l'importazione batch nell'archivio online.
API di importazione dei flussi di dati (archivio offline) Non richiede API per l'importazione dei flussi di dati nell'archivio offline, perché non è necessario un passaggio separato per l'importazione dei flussi nell'archivio offline. Utilizza Vertex AI per l'importazione di flussi di dati nell'archivio offline.
API di importazione streaming (negozio online) L'importazione di flussi di dati non è supportata. Utilizza le API Vertex AI per l'importazione di flussi di dati nel negozio online.
API di gestione in batch Utilizza le API BigQuery per gestire in batch i dati direttamente dalle origini dati BigQuery definite nelle viste delle caratteristiche. Utilizza le API Vertex AI per gestire in batch i dati delle caratteristiche.
API per la pubblicazione online Usa l'FetchFeatureValues(FetchFeatureValuesRequest) API. Utilizza l'API ReadFeatureValues(ReadFeatureValuesRequest) per la pubblicazione online.

Esegui la migrazione a Vertex AI Feature Store

Le risorse e i dati delle funzionalità di Vertex AI Feature Store (legacy) non sono immediatamente disponibili in Vertex AI Feature Store. Se sei un utente esistente di Vertex AI Feature Store (legacy) e vuoi eseguire la migrazione del tuo progetto a Vertex AI Feature Store, segui questi passaggi. Tieni presente che, poiché la gerarchia delle risorse in Vertex AI Feature Store è diversa da quella in Vertex AI Feature Store (Legacy), dovrai creare manualmente le risorse basate dopo aver eseguito la migrazione dei dati delle caratteristiche.

  1. Se i tuoi dati delle caratteristiche non sono già disponibili in BigQuery, esportali in BigQuery e crea tabelle e viste BigQuery. Segui le linee guida per la preparazione dei dati quando esporti e prepari i dati. Ad esempio:

    • Ogni funzionalità corrisponde a una colonna. Gli ID entità possono essere una colonna separata, che puoi identificare come colonna ID.

    • Vertex AI Feature Store non dispone delle risorse EntityType e Entity. Fornisci i valori delle caratteristiche per ogni entità nella riga corrispondente all'ID entità.

  2. (Facoltativo) Registra l'origine dati delle caratteristiche aggiungendo gruppi di funzionalità e funzionalità. Per scoprire di più, consulta Creare un gruppo di funzionalità e Creare una funzionalità.

  3. Configura la pubblicazione online creando istanze di archivi online e di visualizzazione delle caratteristiche in base ai dati delle caratteristiche.

Che cosa succede dopo?