Informazioni su Vertex AI Feature Store

Vertex AI Feature Store è un servizio di feature store gestito e cloud-native integrato in Vertex AI. Semplifica la gestione delle caratteristiche di ML e i processi di distribuzione online, consentendoti di gestire i dati delle caratteristiche in un Tabella o vista BigQuery. Puoi quindi gestire le caratteristiche online direttamente Origine dati BigQuery.

Vertex AI Feature Store esegue il provisioning di risorse che consentono di configurare la distribuzione online specificando le origini dati delle caratteristiche. Funge quindi da metadati l'interfaccia con le origini dati BigQuery gli ultimi valori delle funzionalità direttamente da BigQuery per le previsioni con latenze basse.

In Vertex AI Feature Store, le tabelle BigQuery le visualizzazioni contenenti i dati delle funzionalità formano collettivamente l'archivio offline. Puoi Mantenere i valori delle caratteristiche, inclusi i dati storici delle caratteristiche, nell'archivio offline. Poiché tutti i dati delle caratteristiche sono gestiti in BigQuery, Vertex AI Feature Store non deve eseguire il provisioning di di archiviazione offline all'interno di Vertex AI. Inoltre, se vuoi utilizzare i dati nel magazzino offline per addestrare i modelli ML, puoi utilizzare le API e le funzionalità di BigQuery per esportare o recuperare i dati.

Il flusso di lavoro per configurare e avviare la pubblicazione online utilizzando Vertex AI Feature Store può essere riassunta come segue:

  1. Prepara l'origine dati in BigQuery.

  2. (Facoltativo) Registra le origini dati creando gruppi di caratteristiche e caratteristiche.

  3. Configura le risorse del negozio online e della visualizzazione caratteristiche per collegare le origini dati delle caratteristiche con i cluster di pubblicazione online.

  4. Eroga i valori delle caratteristiche più aggiornati da una vista dedicata.

Modello dei dati e risorse di Vertex AI Feature Store

Questa sezione illustra le risorse e i modelli di dati associati i seguenti aspetti di Vertex AI Feature Store:

Preparazione dell'origine dati in BigQuery

Durante la distribuzione online, Vertex AI Feature Store utilizza i dati delle caratteristiche dalle origini dati BigQuery. Prima di configurare il Registro di caratteristiche o di distribuzione online, devi archiviare i dati delle caratteristiche in una o più Tabelle o viste BigQuery.

All'interno di una tabella o vista BigQuery, ogni colonna rappresenta una caratteristica. Ogni riga contiene i valori delle funzionalità corrispondenti a un ID univoco. Per maggiori informazioni informazioni su come preparare i dati delle caratteristiche in BigQuery, consulta Preparare l'origine dati.

Ad esempio, nella figura 1, la tabella BigQuery include le seguenti colonne:

  • f1 e f2: colonne delle funzionalità.

  • entity_id: una colonna ID contenente gli ID univoci per identificare ogni record di caratteristiche.

  • feature_timestamp: una colonna timestamp.

Una visualizzazione delle caratteristiche contenente le caratteristiche f1 e f2 in formato serie temporale.
Figura 1. Esempio di un'origine dati BigQuery.

Poiché prepari l'origine dati in BigQuery e non in Vertex AI, in questa fase non devi creare risorse Vertex AI.

Configurazione del Registro di caratteristiche

Dopo aver preparato le origini dati in BigQuery, puoi registrare queste origini dati, incluse colonne di caratteristiche specifiche, in il Registro di caratteristiche.

La registrazione delle tue caratteristiche è facoltativa. Puoi gestire le caratteristiche online anche non devi aggiungere le origini dati BigQuery al Registro di caratteristiche. Tuttavia, La registrazione delle tue caratteristiche è vantaggiosa nei seguenti scenari:

  • I dati potrebbero contenere più istanze dello stesso ID entità e devi prepararli in un formato di serie temporali con una colonna di timestamp. Quando registrare le tue caratteristiche, Vertex AI Feature Store cerca timestamp e pubblica solo i valori delle caratteristiche più recenti.

  • Vuoi registrare colonne di caratteristiche specifiche da un'origine dati.

  • Vuoi aggregare colonne specifiche da più origini dati per definire un'istanza di visualizzazione caratteristiche.

di Gemini Advanced.

Risorse del Registro di caratteristiche

Per registrare i dati delle caratteristiche nel Registro di caratteristiche, devi creare il metodo seguenti risorse di Vertex AI Feature Store:

  • Gruppo di funzionalità (FeatureGroup): Un FeatureGroup sia associata a una tabella di origine BigQuery specifica oppure vista. Rappresenta un raggruppamento logico di colonne di funzionalità, che sono rappresentate da risorse Feature. Per informazioni su come creare un gruppo di funzionalità, consulta Creare un gruppo di funzionalità.

  • Funzionalità (Feature): Un Feature risorsa rappresenta una colonna specifica contenente i valori delle caratteristiche della caratteristica origine dati associata alla risorsa FeatureGroup principale. Per informazioni su come creare caratteristiche all'interno di un gruppo di caratteristiche, consulta Creare una caratteristica.

Ad esempio, la figura 2 illustra un gruppo di caratteristiche che include colonne di caratteristiche f1 e f2, provenienti da una tabella BigQuery associata all'oggetto gruppo di caratteristiche. L'origine dati BigQuery contiene quattro colonne di caratteristiche: due colonne vengono aggregate per formare il gruppo di caratteristiche.

Un gruppo di caratteristiche contenente le caratteristiche f1 e f2 in formato serie temporale.
Figura 2. Esempio di FeatureGroup contenente due colonne Feature provenienti da un'origine dati BigQuery.

Configurazione della pubblicazione online

Per distribuire caratteristiche per le previsioni online, devi definire e configurare almeno un cluster di pubblicazione online e associarlo alla tua caratteristica dell'origine dati o del registro di caratteristiche. In Vertex AI Feature Store, Questo cluster di gestione online è chiamato istanza di negozio online. Un negozio online L'istanza può contenere più istanze di visualizzazione caratteristiche, in cui ogni visualizzazione caratteristiche è associato a un'origine dati delle caratteristiche.

Risorse per la pubblicazione online

Per configurare la pubblicazione online, devi creare quanto segue Risorse di Vertex AI Feature Store:

  • Negozio online (FeatureOnlineStore): Un FeatureOnlineStore rappresenta un'istanza di un cluster di gestione online e contiene configurazione della pubblicazione online, ad esempio il numero di nodi di pubblicazione online. Un l'istanza del negozio online non specifica l'origine dei dati delle caratteristiche, ma contiene FeatureView risorse che specificano le origini dati delle funzionalità in BigQuery o il Registro di caratteristiche. Per informazioni su come Per creare un'istanza di un negozio online, consulta Creare un'istanza di un negozio online.

  • Visualizzazione caratteristiche (FeatureView): Un FeatureView è una raccolta logica di caratteristiche in un archivio online in esecuzione in un'istanza Compute Engine. Quando crei una visualizzazione caratteristiche, puoi specificare la posizione dell'origine dati delle caratteristiche in uno dei seguenti modi:

    • Associa uno o più gruppi di funzionalità e funzionalità dal Registro di funzionalità. R Il gruppo di caratteristiche specifica la posizione dell'origine dati BigQuery. Un elemento all'interno del gruppo di elementi fa riferimento a una colonna di elementi specifica all'interno dell'origine dati.

    • In alternativa, associa una tabella o una vista di origine BigQuery.

    Per informazioni su come creare istanze di visualizzazione caratteristiche all'interno di un archivio online, consulta Creare una visualizzazione delle caratteristiche.

Ad esempio, la figura 3 illustra una visualizzazione delle caratteristiche che comprende colonne di caratteristiche f2 e f4, che provengono da due gruppi di caratteristiche separati associati con una tabella BigQuery.

Una visualizzazione delle caratteristiche contenente le caratteristiche f2 e f4 provenienti da due gruppi di caratteristiche.
Figura 3. Esempio di un elemento FeatureView contenente caratteristiche di due gruppi di caratteristiche separati.

Distribuzione online

Vertex AI Feature Store fornisce i seguenti tipi di distribuzione online per previsioni online in tempo reale:

  • La pubblicazione online di Bigtable è utile per gestire grandi volumi di dati (terabyte di dati). È simile alla distribuzione online in Vertex AI Feature Store (legacy) e offre un caching migliore per mitigare l'hotspot. La pubblicazione online tramite Bigtable non supporta incorporamenti.

  • La pubblicazione online ottimizzata ti consente di pubblicare le caratteristiche online con latenze molto basse. Tieni presente che, sebbene le latenze di distribuzione online dipendano carico di lavoro, la pubblicazione online ottimizzata può fornire latenze inferiori rispetto Distribuzione online tramite Bigtable ed è consigliata per la maggior parte degli scenari. La pubblicazione online ottimizzata supporta anche la gestione degli incorporamenti. Tuttavia, se devi gestire grandi volumi di dati che vengono e non hanno bisogno di pubblicare incorporamenti, usa la pubblicazione online di Bigtable.

    Per utilizzare la pubblicazione online ottimizzata, devi configurare una o un endpoint Private Service Connect dedicato.

Scopri come configurare la pubblicazione online in Vertex AI Feature Store Dopo aver configurato le funzionalità, consulta Tipi di pubblicazione online.

Distribuzione offline per previsioni batch o addestramento del modello

Poiché non è necessario copiare o importare i dati delle caratteristiche da BigQuery a un datastore offline separato in Vertex AI, puoi utilizzare ed esportare di BigQuery per:

Per saperne di più sul machine learning con BigQuery, vedi Introduzione a BigQuery ML.

Termini di Vertex AI Feature Store

il feature engineering
  • La creazione di funzionalità è il processo di trasformazione dei dati non elaborati di machine learning (ML) in funzionalità che possono essere utilizzate per addestrare i modelli di ML o per fare previsioni.

funzionalità
  • Nel machine learning (ML), una caratteristica è una caratteristica o un attributo di un'istanza o entità che viene utilizzata come input per addestrare un modello ML o fare previsioni.

valore della funzionalità
  • Un valore di caratteristica corrisponde al valore effettivo e misurabile di una caratteristica (attributo) di un'istanza o entità. Una raccolta di valori delle caratteristiche per l'entità univoca rappresenta il record di caratteristiche corrispondente all'entità.

feature timestamp
  • Un timestamp della caratteristica indica quando è stato generato l'insieme di valori delle caratteristiche in un record di caratteristiche specifico per un'entità.

record di caratteristiche
  • Un record delle funzionalità è un'aggregazione di tutti i valori delle funzionalità che descrivono gli attributi di un'entità univoca in un determinato momento.

Termini relativi al Registro di caratteristiche

registro di caratteristiche
  • Un registro di caratteristiche è un'interfaccia centrale per la registrazione delle origini dati delle caratteristiche da utilizzare per le previsioni online. Per ulteriori informazioni, consulta Configurazione del Registro di caratteristiche.

gruppo di caratteristiche
  • Un gruppo di caratteristiche è una risorsa del registro di caratteristiche che corrisponde a una tabella o vista di origine BigQuery contenente dati delle caratteristiche. Una vista delle caratteristiche può contenere caratteristiche e può essere considerata come un raggruppamento logico di colonne di caratteristiche nell'origine dati.

funzionalità
  • La distribuzione delle caratteristiche è il processo di esportazione o recupero dei valori delle caratteristiche per l'addestramento o l'inferenza. In Vertex AI esistono due tipi di distribuzione delle caratteristiche: pubblicazione online e pubblicazione offline. La pubblicazione online recupera gli ultimi valori delle caratteristiche di un sottoinsieme dell'origine dati delle caratteristiche per le previsioni online. La distribuzione offline o in batch esporta volumi elevati di dati delle caratteristiche per l'elaborazione offline, ad esempio l'addestramento dei modelli ML.

Negozio offline
  • Il negozio offline è una struttura di archiviazione in cui sono archiviati dati recenti e storici delle caratteristiche, che in genere vengono utilizzati per l'addestramento dei modelli ML. Un archivio offline contiene anche gli ultimi valori delle caratteristiche, che puoi utilizzare per le previsioni online.

negozio online
  • Nella gestione delle caratteristiche, un negozio online è una struttura di archiviazione per i valori più recenti delle caratteristiche da fornire per le previsioni online.

visualizzazione delle caratteristiche
  • Una visualizzazione delle caratteristiche è una raccolta logica di caratteristiche materializzate da un'origine dati BigQuery a un'istanza di un negozio online. Una vista elemento archivia e aggiorna periodicamente i dati delle funzionalità del cliente, che vengono aggiornati periodicamente dall'origine BigQuery. Una visualizzazione delle caratteristiche è associata all'archiviazione dei dati delle caratteristiche direttamente o tramite associazioni alle risorse del registro delle caratteristiche.

Vincoli di località

Tutte le risorse di Vertex AI Feature Store devono trovarsi nello stesso o la stessa località multiregionale dei dati BigQuery sorgente. Ad esempio, se l'origine dati delle funzionalità si trova in us-central1, devi creare l'istanza FeatureOnlineStore solo in us-central1 o nella località multiregione US.

Metadati delle funzionalità

Vertex AI Feature Store è integrato con Dataplex per forniscono funzionalità di governance delle caratteristiche, inclusi i metadati delle caratteristiche. Online le istanze di datastore, le visualizzazioni delle caratteristiche e i gruppi di caratteristiche vengono registrati automaticamente come asset di dati in Data Catalog, una funzionalità Dataplex che cataloga i metadati da queste risorse. Puoi quindi utilizzare la funzionalità di ricerca dei metadati di Dataplex per cercare, visualizzare e gestire i metadati di queste risorse. Per saperne di più sulla ricerca delle risorse di Vertex AI Feature Store in Dataplex, consulta Cercare i metadati delle risorse in Data Catalog.

Etichette delle caratteristiche

Puoi aggiungere etichette alle risorse durante o dopo la loro creazione. Per ulteriori informazioni sull'aggiunta di etichette a dei alle risorse di Vertex AI Feature Store, vedi Aggiorna le etichette.

Metadati della versione della risorsa

Vertex AI Feature Store supporta solo la versione 0 per le caratteristiche.

Gestione dell'incorporamento e recupero vettoriale

La pubblicazione online ottimizzata in Vertex AI Feature Store supporta la gestione degli incorporamenti. Puoi archiviare gli incorporamenti in BigQuery regolari double di array. Utilizzando le funzionalità di gestione dell'incorporamento Vertex AI Feature Store, può eseguire ricerche di somiglianze vettoriali per recuperare entità che sono i vicini più prossimi approssimati per un l'entità o il valore di incorporamento.

Per utilizzare la gestione dell'incorporamento in Vertex AI Feature Store, devi fare quanto segue:

Per informazioni su come eseguire una ricerca di somiglianze vettoriali in Vertex AI Feature Store, consulta Eseguire una ricerca vettoriale delle entità.

Conservazione dei dati

Vertex AI Feature Store conserva gli ultimi valori delle caratteristiche per un ID univoco, basato sul timestamp associato ai valori delle caratteristiche nei dati sorgente. Non esiste un limite di conservazione dei dati nel negozio online.

Poiché il provisioning del datastore offline viene eseguito da BigQuery, i limiti di conservazione o le quote di BigQuery potrebbero essere applicati origine dati sulle caratteristiche, inclusi i valori storici delle caratteristiche. Scopri di più su quote e limiti in BigQuery.

Quote e limiti

Vertex AI Feature Store applica quote e limiti per aiutarti gestire le risorse impostando limiti di utilizzo e per proteggere la per gli utenti di Google Cloud evitando picchi di utilizzo imprevisti. Per utilizzare in modo efficiente le risorse di Vertex AI Feature Store senza superare questi vincoli, consulta le quote e i limiti di Vertex AI Feature Store.

Prezzi

Per informazioni sui prezzi per l'utilizzo delle risorse di Vertex AI Feature Store, consulta la pagina Prezzi di Vertex AI Feature Store.

Tutorial sul blocco note

Utilizza gli esempi e i tutorial seguenti per scoprire di più su Vertex AI Feature Store.

Pubblicazione di funzionalità online e recupero dei dati BigQuery con la pubblicazione online di Bigtable di Vertex AI Feature Store

In questo tutorial imparerai a utilizzare la distribuzione online di Bigtable in Vertex AI Feature Store per la distribuzione online e il recupero dei valori delle caratteristiche in BigQuery.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Pubblicazione di funzionalità online e recupero dei dati di BigQuery con la pubblicazione online ottimizzata di Vertex AI Feature Store

In questo tutorial imparerai a utilizzare la pubblicazione online ottimizzata in Vertex AI Feature Store per fornire e recuperare i valori delle caratteristiche da BigQuery.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Distribuzione delle caratteristiche online e recupero vettoriale dei dati BigQuery con Vertex AI Feature Store

In questo tutorial imparerai a utilizzare Vertex AI Feature Store per la distribuzione online e il recupero vettoriale dei valori delle caratteristiche in BigQuery.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Agenti di servizio della visualizzazione delle funzionalità di Vertex AI Feature Store

In questo tutorial imparerai ad abilitare gli agenti di servizio per la visualizzazione caratteristiche e concedere a ogni visualizzazione caratteristiche l'accesso ai dati di origine specifici utilizzati.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Tutorial sul grounding dei modelli LLM basati su Vertex AI Feature Store

In questo tutorial imparerai a suddividere i dati forniti dall'utente e a generare vettori di incorporamento per ogni blocco utilizzando un modello linguistico di grandi dimensioni (LLM) con funzionalità di generazione dell'incorporamento. Il set di dati vettoriali di incorporamento risultante può quindi essere caricato in Vertex AI Feature Store, consentendo il recupero rapido delle caratteristiche e una pubblicazione online efficiente.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Crea un'applicazione RAG di IA generativa con Vertex AI Feature Store e BigQuery

In questo tutorial imparerai a creare un sistema di ricerca vettoriale a bassa latenza per la tua applicazione di IA generativa utilizzando la ricerca vettoriale di BigQuery e Vertex AI Feature Store.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Configura criterio IAM in Vertex AI Feature Store

In questo tutorial imparerai a configurare un criterio IAM per controllare l'accesso alle risorse e ai dati archiviati in Vertex AI Feature Store.

Apri in Colab | Apri in Colab Enterprise | Visualizza su GitHub | Apri in blocchi note gestiti dall'utente di Vertex AI Workbench

Passaggi successivi