Questa pagina fornisce una panoramica dell'integrazione di Spanner Vertex AI. L'integrazione di Spanner con Vertex AI funziona sia con i database GoogleSQL sia con quelli PostgreSQL.
L'integrazione di Spanner Vertex AI consente di accedere ai modelli ML di classificatori e regressione ospitati su Vertex AI tramite l'interfaccia di GoogleSQL e PostgreSQL. In questo modo, è possibile integrare perfettamente la funzionalità di pubblicazione delle previsioni ML con le operazioni di accesso ai dati Spanner generali eseguite utilizzando query DQL/DML.
Vantaggi dell'integrazione di Spanner Vertex AI
La generazione di previsioni ML mediante l'integrazione di Spanner Vertex AI offre diversi vantaggi rispetto all'approccio in cui l'accesso ai dati Spanner e l'accesso all'endpoint di previsione Vertex AI vengono eseguiti separatamente:
- Rendimento:
- Latenza migliore: l'integrazione di Spanner Vertex AI che comunica direttamente con il servizio Vertex AI elimina i viaggi di andata e ritorno aggiuntivi tra un nodo di calcolo che esegue un client di Spanner e il servizio Vertex AI.
- Maggiore throughput/parallismo: l'integrazione di Spanner Vertex AI viene eseguita sull'infrastruttura di elaborazione delle query distribuita di Spanner, che supporta l'esecuzione di query altamente parallelizzabili.
- Esperienza utente:
- La possibilità di utilizzare un'interfaccia SQL singola, semplice, coerente e familiare per facilitare sia la trasformazione dei dati sia gli scenari di pubblicazione di ML su Spanner a livello di scala riduce la barriera di ingresso al ML e consente un'esperienza utente molto più scorrevole.
- Costi:
- L'integrazione di Spanner Vertex AI utilizza la capacità di calcolo di Spanner per riunire i risultati dei calcoli ML e dell'esecuzione delle query SQL, eliminando la necessità di eseguire il provisioning di un'elaborazione aggiuntiva (ad esempio in Compute Engine o Google Kubernetes Engine).
Come funziona l'integrazione di Spanner Vertex AI?
L'integrazione di Spanner Vertex AI non ospita modelli ML, ma si basa sull'infrastruttura del servizio Vertex AI. Non è necessario addestrare un modello utilizzando Vertex AI per utilizzarlo con l'integrazione di Spanner Vertex AI, ma devi eseguirlo su un endpoint Vertex AI.
Per addestrare i modelli sui dati archiviati in Spanner, puoi utilizzare quanto segue:
Query federate di BigQuery insieme a BigQuery ML.
Dataflow per esportare i dati da Spanner in formato CSV e importare l'origine dati CSV in Vertex AI.
L'integrazione di Spanner Vertex AI estende le seguenti funzioni per l'utilizzo dei modelli ML:
Genera previsioni di ML chiamando un modello utilizzando SQL sui tuoi dati Spanner. Puoi utilizzare un modello del Model Garden di Vertex AI o un modello di cui è stato eseguito il deployment nel tuo endpoint Vertex AI.
Genera incorporamenti di testo per fare in modo che un LLM traduca i prompt di testo in numeri. Per approfondire gli embedding, consulta Ottenere embedding di testo.
Utilizzo delle funzioni di integrazione di Spanner Vertex AI
Un modello nell'integrazione di Spanner Vertex AI può essere utilizzato per generare previsioni o embedding di testo nel codice SQL utilizzando le funzioni di previsione ML. Queste funzioni sono le seguenti:
GoogleSQL
Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:
Devi registrare il modello utilizzando l'istruzione DDL CREATE MODEL prima di utilizzarlo con la funzione ML.PREDICT.
Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle tue previsioni. Questo è utile quando esegui query di grandi dimensioni
in cui alcune previsioni non riuscite sono tollerabili.
PostgreSQL
Per PostgreSQL puoi utilizzare la seguente funzione di previsione ML:
Per utilizzare le funzioni, puoi selezionare un modello dal Model Garden di Vertex AI o utilizzare un modello di cui hai eseguito il deployment in Vertex AI.
Per ulteriori informazioni su come eseguire il deployment di un modello in un endpoint in Vertex AI, consulta Eseguire il deployment di un modello in un endpoint.
Per ulteriori informazioni su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.
Per ulteriori informazioni su come utilizzare queste funzioni per generare embedding di testo, consulta Ottenere embedding di testo.
Prezzi
Non vengono addebitati costi aggiuntivi da parte di Spanner quando lo utilizzi con l'integrazione di Spanner Vertex AI. Tuttavia, sono previsti altri possibili addebiti associati a questa funzionalità:
Paghi le tariffe standard per la previsione online di Vertex AI. L'addebito totale dipende dal tipo di modello utilizzato. Alcuni tipi di modelli hanno una tariffa fissa oraria, a seconda del tipo di macchina e del numero di nodi utilizzati. Alcuni tipi di modelli hanno tariffe per chiamata. Ti consigliamo di eseguire il deployment di quest'ultimo in un progetto dedicato in cui hai impostato quote di previsione esplicite.
Paghi le tariffe standard per il trasferimento di dati tra Spanner e Vertex AI. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Vertex AI nella stessa regione dell'istanza Spanner. Quando utilizzi configurazioni di istanze multiregionali o più endpoint Vertex AI, esegui il deployment degli endpoint nello stesso continente.
SLA
Poiché la disponibilità delle previsioni online di Vertex AI è inferiore, devi configurare correttamente i modelli ML di Spanner per mantenere l'alta disponibilità di Spanner durante l'utilizzo dell'integrazione di Spanner Vertex AI:
- I modelli ML di Spanner devono utilizzare più endpoint Vertex AI sul backend per abilitare il failover.
- Gli endpoint Vertex AI devono essere conformi allo SLA di Vertex AI.
- Gli endpoint Vertex AI devono disporre di una capacità sufficiente per gestire il traffico in entrata.
- Gli endpoint Vertex AI devono utilizzare regioni separate vicine al database Spanner per evitare interruzioni del servizio a livello di regione.
- Gli endpoint Vertex AI devono utilizzare progetti separati per evitare problemi con le quote di previsione per progetto.
Il numero di endpoint Vertex AI ridondanti dipende dal loro SLA e dal numero di righe nelle query Spanner:
| SLA di Spanner | SLA di Vertex AI | 1 riga | 10 righe | 100 righe | 1000 righe |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Gli endpoint Vertex AI non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello ML di Spanner in modo che abbia un primo endpoint principale, complesso e con un'elevata intensità di calcolo. Gli endpoint di failover successivi possono puntare a modelli semplificati meno impegnativi in termini di risorse di calcolo, che si adattano meglio e possono assorbire picchi di traffico.
Conformità
Assured Workloads non supporta l'API Vertex AI Prediction. L'attivazione di un vincolo di limitazione dell'utilizzo delle risorse disattiva l'API Vertex AI e, di fatto, la funzionalità di integrazione di Spanner Vertex AI.
Inoltre, ti consigliamo di creare un perimetro dei Controlli di servizio VPC per assicurarti che i database di produzione non possano connettersi agli endpoint Vertex AI nei progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.