Nel machine learning (ML), le caratteristiche sono attributi caratteristici di un'istanza o entità che puoi utilizzare per addestrare modelli o fare previsioni online. Le caratteristiche vengono generate trasformando i dati ML non elaborati in attributi misurabili e condivisibili utilizzando tecniche di feature engineering, generalmente denominate trasformazioni delle caratteristiche.
Per gestione delle caratteristiche si intende il processo di creazione, manutenzione, condivisione e distribuzione delle caratteristiche ML archiviate in una posizione o un repository centralizzato. La gestione delle caratteristiche semplifica il riutilizzo delle caratteristiche per addestrare e riaddestrare i modelli, riducendo il ciclo di vita dei deployment di AI e ML.
Un prodotto o servizio che include servizi di gestione delle funzionalità per archiviare, scoprire, condividere e pubblicare caratteristiche ML viene chiamato feature store. Vertex AI incorpora i seguenti servizi di Feature Store:
Questa pagina introduce e confronta i due servizi di gestione delle funzionalità e fornisce una panoramica delle loro funzionalità. Descrive inoltre come eseguire la migrazione di un Feature Store esistente in Vertex AI Feature Store (legacy) al nuovo Vertex AI Feature Store.
Vertex AI Feature Store
Vertex AI Feature Store offre un nuovo approccio alla gestione delle caratteristiche consentendo di mantenere e pubblicare i dati delle caratteristiche da un'origine dati BigQuery. In questo approccio, Vertex AI Feature Store funge da livello di metadati che fornisce funzionalità di distribuzione online all'origine dati delle caratteristiche in BigQuery e consente di fornire caratteristiche online in base a questi dati. Non è necessario copiare o importare i dati in un archivio offline separato in Vertex AI.
Vertex AI Feature Store è integrato con Dataplex per monitorare i metadati delle caratteristiche. Supporta anche gli incorporamenti e consente di eseguire ricerche di somiglianze vettoriali per i vicini più prossimi.
Vertex AI Feature Store è ottimizzato per la pubblicazione a latenza molto bassa e consente di:
Archivia e gestisci i dati delle caratteristiche offline in BigQuery, sfruttando le funzionalità di gestione dei dati di BigQuery.
Condividi e riutilizza le caratteristiche aggiungendole al registro di caratteristiche.
Gestisci le caratteristiche per le previsioni online a basse latenze utilizzando la distribuzione online di Bigtable o con latenze molto basse utilizzando la pubblicazione online ottimizzata.
Memorizza gli incorporamenti nei dati delle caratteristiche ed esegui ricerche di somiglianze vettoriali utilizzando la pubblicazione online ottimizzata.
Tieni traccia dei metadati delle caratteristiche in Dataplex.
Per saperne di più su Vertex AI Feature Store, consulta la documentazione di Vertex AI Feature Store.
Vertex AI Feature Store (legacy)
Vertex AI Feature Store (legacy) fornisce un repository centralizzato per archiviare, organizzare e pubblicare i dati delle caratteristiche ML. Esegue il provisioning di una gerarchia di risorse che incapsula sia un archivio online che un datastore offline in Vertex AI. L'archivio online fornisce i valori delle caratteristiche più recenti per le previsioni online. L'archivio offline archivia e conserva i dati delle caratteristiche (compresi i dati storici) che puoi pubblicare in batch per l'addestramento dei modelli ML.
Vertex AI Feature Store (legacy) è un servizio di gestione delle caratteristiche completamente funzionale che consente di:
Batch o flusso di dati delle caratteristiche di importazione nell'archivio offline da un'origine dati, ad esempio un bucket Cloud Storage o un'origine BigQuery.
Pubblica le caratteristiche online per le previsioni.
Fornisce o esporta caratteristiche in batch per l'addestramento o l'analisi del modello ML.
Imposta i criteri IAM (Identity and Access Management) per le risorse
EntityType
eFeaturestore
.Gestisci le risorse del Feature Store dalla console Google Cloud.
Vertex AI Feature Store (legacy) non include funzionalità di gestione degli incorporamenti o di recupero vettoriale. Se hai bisogno di gestire gli incorporamenti nei dati delle caratteristiche o di eseguire ricerche di somiglianze vettoriali, valuta la possibilità di passare a Vertex AI Feature Store. Per informazioni sulla migrazione a Vertex AI Feature Store, consulta Eseguire la migrazione a Vertex AI Feature Store.
Per saperne di più su Vertex AI Feature Store (legacy), consulta la documentazione di Vertex AI Feature Store (legacy).
Confronto tra Vertex AI Feature Store e Vertex AI Feature Store (legacy)
La tabella seguente mette a confronto i vari aspetti di Vertex AI Feature Store (legacy) e del nuovo Vertex AI Feature Store:
Categoria | Vertex AI Feature Store | Vertex AI Feature Store (legacy) |
---|---|---|
Modelli dei dati | ||
Gerarchia delle risorse (archivio online e offline) | La gerarchia delle risorse nell'archivio online è la seguente: FeatureOnlineStore -> FeatureView
|
La gerarchia delle risorse è la seguente: Featurestore -> EntityType -> Feature
|
Gerarchia delle risorse (registro di caratteristiche) | La gerarchia delle risorse nel registro di caratteristiche è la seguente: FeatureGroup -> Feature
|
Non esiste un registro di caratteristiche in Vertex AI Feature Store (legacy). |
Gestione delle funzionalità | ||
Negozi online e offline | Devi creare un'istanza del negozio online e definire le visualizzazioni delle caratteristiche. Vertex AI Feature Store non richiede un archivio offline separato, perché l'origine dati BigQuery costituisce l'archivio offline. |
Quando esegui il provisioning di un Feature Store, Vertex AI Feature Store (legacy) crea datastore online e offline separati. |
Importazione delle caratteristiche | Non è necessario importare i dati negli archivi offline, poiché i dati risiedono in BigQuery, e puoi utilizzarli direttamente per esigenze offline. Per i casi d'uso di distribuzione online, puoi registrare una tabella BigQuery o una visualizzazione come visualizzazione delle caratteristiche, che copia i dati delle caratteristiche nel datastore online. Vertex AI Feature Store aggiorna i dati nel negozio online durante la sincronizzazione dei dati. | Devi importare i dati delle caratteristiche in archivi online e offline utilizzando l'importazione in batch o in flussi da un'origine esterna, ad esempio una tabella BigQuery o una vista BigQuery. |
Spostamento di dati tra archivi online e offline | Vertex AI Feature Store utilizza BigQuery come archivio offline e copia solo i valori delle caratteristiche più recenti nell'archivio online. In Vertex AI non è stato eseguito il provisioning di un datastore offline separato. | I valori delle caratteristiche vengono copiati nello spazio di archiviazione offline e, di conseguenza, nello spazio di archiviazione online. |
Distribuzione delle caratteristiche | ||
Pubblicazione offline | Per interagire con l'archivio offline, devi utilizzare le API BigQuery. Le funzionalità di base sono le stesse. | Per interagire con l'archivio offline, che è gestito da Vertex AI Feature Store (legacy), devi utilizzare le API Vertex AI. Esempi di queste interazioni sono le ricerche point-in-time e l'esportazione delle caratteristiche. |
Distribuzione online |
Vertex AI Feature Store offre due tipi di distribuzione online:
Ogni richiesta di lettura online recupera tutte le caratteristiche preimpostate in una visualizzazione caratteristiche senza ulteriori elaborazioni, con una conseguente latenza inferiore. |
Vertex AI Feature Store (legacy) fornisce un solo tipo di distribuzione online. Puoi specificare le entità e le caratteristiche per recuperare i dati delle caratteristiche. |
Interfacce e API | ||
Funzionalità della console Google Cloud | Usa la console Google Cloud per creare e gestire risorse, ad esempio istanze di archivi online, istanze di visualizzazione caratteristiche, gruppi di caratteristiche e caratteristiche. Puoi anche visualizzare l'elenco di archivi online e informazioni sulla derivazione delle caratteristiche. | Utilizzare la console Google Cloud per eseguire la maggior parte delle attività di gestione delle funzionalità, incluso il monitoraggio della creazione delle risorse. |
API per la creazione di risorse | Include le API per creare le risorse FeatureOnlineStore , FeatureView , FeatureGroup e Feature . Queste risorse consentono di configurare il registro di caratteristiche e l'archivio online. Per l'archivio offline, viene utilizzato BigQuery. |
Include le API per creare risorse Featurestore , EntityType e Feature utilizzate negli archivi online e offline. |
API di importazione batch (archivio offline) | Non richiede API per l'importazione batch nell'archivio offline, perché non è necessario un passaggio separato per l'importazione batch nell'archivio offline. | Utilizza le API Vertex AI per l'importazione batch nell'archivio offline. |
API di importazione batch (archivio online) | Copia periodicamente i dati da BigQuery all'archivio online durante la sincronizzazione dei dati. | Utilizza le API Vertex AI per l'importazione batch nell'archivio online. |
API per l'importazione dei flussi di dati (archivio offline) | Non richiede API per l'importazione di flussi di dati nell'archivio offline, perché non è necessario un passaggio separato per l'importazione di flussi di dati nell'archivio offline. | Utilizza Vertex AI per l'importazione di flussi di dati nell'archivio offline. |
API per l'importazione dei flussi di dati (archivio online) | L'importazione di flussi di dati non è supportata. | Utilizza le API Vertex AI per l'importazione di flussi di dati nell'archivio online. |
API di recupero dati in batch | Utilizza le API BigQuery per pubblicare i dati in batch direttamente dalle origini dati BigQuery definite nelle visualizzazioni delle caratteristiche. | Utilizza le API Vertex AI per pubblicare in batch i dati delle caratteristiche. |
API di distribuzione online | Utilizza FetchFeatureValues(FetchFeatureValuesRequest) API . |
Utilizza l'API ReadFeatureValues(ReadFeatureValuesRequest) per la pubblicazione online. |
Esegui la migrazione a Vertex AI Feature Store
Le risorse e i dati delle caratteristiche di Vertex AI Feature Store (legacy) non sono prontamente disponibili in Vertex AI Feature Store. Se sei già un utente di Vertex AI Feature Store (legacy) e vuoi eseguire la migrazione del tuo progetto a Vertex AI Feature Store, segui questi passaggi. Tieni presente che, poiché la gerarchia delle risorse in Vertex AI Feature Store è diversa da quella in Vertex AI Feature Store (legacy), dovrai creare manualmente le risorse dopo aver eseguito la migrazione dei dati delle caratteristiche.
Se i dati delle caratteristiche non sono già disponibili in BigQuery, esportali in BigQuery e crea tabelle e viste BigQuery. Segui le linee guida per la preparazione dei dati quando esporti e prepari i dati. Ad esempio:
Ogni caratteristica corrisponde a una colonna. Gli ID entità possono essere una colonna separata, che puoi identificare come colonna
ID
.Vertex AI Feature Store non dispone delle risorse
EntityType
eEntity
. Fornisci i valori delle caratteristiche per ogni entità nella riga corrispondente all'ID entità.
(Facoltativo) Registra l'origine dati delle caratteristiche aggiungendo gruppi di caratteristiche e funzionalità. Per ulteriori informazioni, vedi Creare un gruppo di caratteristiche e Creare una caratteristica.
Configura la pubblicazione online creando istanze di archivio online e visualizzazione caratteristiche in base ai dati delle caratteristiche.