Questa pagina fornisce una panoramica dell'integrazione di Spanner Vertex AI. L'integrazione di Vertex AI con Spanner funziona sia con i database GoogleSQL sia con quelli PostgreSQL.
L'integrazione di Spanner Vertex AI consente di accedere ai modelli ML di classificatori e regressione ospitati su Vertex AI tramite l'interfaccia di GoogleSQL e PostgreSQL. In questo modo, è possibile integrare perfettamente la funzionalità di pubblicazione delle previsioni ML con le operazioni di accesso ai dati Spanner generali eseguite utilizzando query DQL/DML.
Vantaggi dell'integrazione di Spanner Vertex AI
La generazione di previsioni ML utilizzando l'integrazione di Spanner Vertex AI offre diversi vantaggi rispetto all'approccio in cui Spanner accede ai dati e a Vertex AI dell'endpoint di previsione vengono eseguiti separatamente:
- Rendimento:
- Latenza migliore: l'integrazione di Spanner Vertex AI che comunica direttamente con il servizio Vertex AI elimina i viaggi di andata e ritorno aggiuntivi tra un nodo di calcolo che esegue un client di Spanner e il servizio Vertex AI.
- Maggiore throughput/parallismo: l'integrazione di Spanner Vertex AI viene eseguita sull'infrastruttura di elaborazione delle query distribuita di Spanner, che supporta l'esecuzione di query altamente parallelizzabili.
- Esperienza utente:
- La possibilità di utilizzare un'interfaccia SQL singola, semplice, coerente e familiare per facilitare sia la trasformazione dei dati sia gli scenari di pubblicazione di ML su Spanner a livello di scala riduce la barriera di ingresso al ML e consente un'esperienza utente molto più scorrevole.
- Costi:
- L'integrazione di Spanner Vertex AI utilizza la capacità di calcolo di Spanner per riunire i risultati dei calcoli ML e dell'esecuzione delle query SQL, eliminando la necessità di eseguire il provisioning di un'elaborazione aggiuntiva (ad esempio in Compute Engine o Google Kubernetes Engine).
Come funziona l'integrazione di Spanner Vertex AI?
L'integrazione di Spanner Vertex AI non ospita modelli ML, ma si basa sull'infrastruttura del servizio Vertex AI. Non è necessario addestrare un modello utilizzando Vertex AI per utilizzarlo con l'integrazione di Spanner Vertex AI, ma devi eseguirlo su un endpoint Vertex AI.
Per addestrare i modelli sui dati archiviati in Spanner, puoi utilizzare quanto segue:
Query federate di BigQuery insieme. con BigQuery ML.
Dataflow per esportare i dati da Spanner in formato CSV e importare l'origine dati CSV in Vertex AI.
L'integrazione di Spanner Vertex AI estende le seguenti funzioni per l'utilizzo dei modelli ML:
Generare previsioni ML chiamando un modello utilizzando SQL per i dati Spanner. Puoi utilizzare un modello Model Garden di Vertex AI o un modello di cui è stato eseguito il deployment nell'endpoint Vertex AI.
Genera incorporamenti di testo per fare in modo che un LLM traduca di testo in numeri. A Per saperne di più sugli incorporamenti, consulta Ottenere incorporamenti di testo.
Utilizzo delle funzioni di integrazione di Spanner Vertex AI
Un modello nell'integrazione di Spanner Vertex AI può essere utilizzato per generare previsioni o embedding di testo nel codice SQL utilizzando le funzioni di previsione ML. Queste funzioni sono le seguenti:
GoogleSQL
Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:
Devi registrare il modello utilizzando CREATE MODEL
l'istruzione DDL prima di utilizzarla con la funzione ML.PREDICT.
Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle tue previsioni. Questo è utile quando esegui query di grandi dimensioni
in cui alcune previsioni non riuscite sono tollerabili.
PostgreSQL
Per PostgreSQL puoi utilizzare la seguente funzione di previsione ML:
Per utilizzare le funzioni, puoi selezionare un modello dal Model Garden di Vertex AI o utilizzare un modello di cui hai eseguito il deployment in Vertex AI.
Per ulteriori informazioni su come eseguire il deployment di un modello in un endpoint di Vertex AI, vedi Eseguire il deployment di un modello in un endpoint.
Per ulteriori informazioni su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.
Per ulteriori informazioni su come utilizzare queste funzioni per generare incorporamenti di testo, consulta Ottenere incorporamenti di testo.
Prezzi
Non sono previsti costi aggiuntivi da parte di Spanner se lo utilizzi con l'integrazione di Spanner Vertex AI. Tuttavia, esistono altri potenziali addebiti associati a questa funzionalità:
Paghi le tariffe standard per la previsione online di Vertex AI. L'addebito totale dipende dal tipo di modello utilizzato. Alcuni modelli hanno una tariffa oraria fissa, in base al tipo di macchina e al numero nodi che utilizzi. Alcuni tipi di modello hanno tariffe per chiamata. Ti consigliamo esegui il deployment di quest'ultima in un progetto dedicato in cui hai impostato una previsione esplicita quote.
Paghi le tariffe standard per il trasferimento di dati tra Spanner e Vertex AI. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Vertex AI della tua istanza Spanner. Quando si utilizzano più regioni configurazioni di istanze o più endpoint Vertex AI, più endpoint nello stesso continente.
SLA
Poiché la disponibilità delle previsioni online di Vertex AI è inferiore, devi configurare correttamente i modelli ML di Spanner per mantenere l'alta disponibilità di Spanner durante l'utilizzo dell'integrazione di Spanner Vertex AI:
- I modelli ML di Spanner devono utilizzare più modelli Vertex AI sul backend per abilitare il failover.
- Gli endpoint Vertex AI devono essere conformi allo SLA di Vertex AI.
- Gli endpoint Vertex AI devono disporre di una capacità sufficiente per gestire il traffico in entrata.
- Gli endpoint Vertex AI devono utilizzare regioni separate vicino agli il database Spanner per evitare interruzioni a livello di regione.
- Gli endpoint Vertex AI devono utilizzare progetti separati per evitare con le quote di previsione per progetto.
Il numero di endpoint Vertex AI ridondanti dipende dal relativo SLA (accordo sul livello del servizio) e il numero di righe nelle query Spanner:
| SLA di Spanner | SLA di Vertex AI | 1 riga | 10 righe | 100 righe | 1000 righe |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Gli endpoint Vertex AI non devono ospitare esattamente lo stesso modello. Me di configurare il modello ML di Spanner in modo che abbia un'istanza complesso e ad alta intensità di calcolo come primo endpoint. Gli endpoint di failover successivi possono puntare a modelli semplificati meno impegnativi in termini di risorse di calcolo, che si adattano meglio e possono assorbire picchi di traffico.
Conformità
Assured Workloads non supporta l'API Vertex AI Prediction. L'attivazione di un vincolo di limitazione dell'utilizzo delle risorse disattiva l'API Vertex AI e, di fatto, la funzionalità di integrazione di Spanner Vertex AI.
Inoltre, ti consigliamo di creare una Perimetro Controlli di servizio VPC per i database di produzione non possono connettersi agli endpoint Vertex AI in a progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.