Panoramica dell'integrazione di Spanner Vertex AI

Questa pagina fornisce una panoramica dell'integrazione di Spanner Vertex AI. L'integrazione di Spanner Vertex AI funziona con database GoogleSQL e PostgreSQL.

L'integrazione di Spanner Vertex AI consente di accedere ai modelli ML di classificatori e regressione ospitati su Vertex AI tramite l'interfaccia di GoogleSQL e PostgreSQL. Ciò consente di integrare perfettamente la funzionalità di gestione delle previsioni ML con operazioni generali di accesso ai dati di Spanner eseguite utilizzando query DQL/DML.

Vantaggi dell'integrazione di Spanner Vertex AI

Generare previsioni ML utilizzando l'integrazione di Spanner Vertex AI offre più vantaggi rispetto all'approccio in cui l'accesso ai dati di Spanner e l'accesso all'endpoint di previsione di Vertex AI vengono eseguiti separatamente:

  • Rendimento:
    • Latenza migliore: l'integrazione di Spanner Vertex AI parlando direttamente con il servizio Vertex AI elimina ulteriori round trip tra un nodo di computing che esegue il client di Spanner e il servizio Vertex AI.
    • Velocità effettiva/Parallelismo migliore: l'integrazione di Spanner Vertex AI viene eseguita sull'infrastruttura di elaborazione delle query distribuita di Spanner, che supporta un'esecuzione di query altamente parallelizzabile.
  • Esperienza utente:
    • La possibilità di utilizzare un'unica interfaccia SQL semplice, coerente e familiare per facilitare gli scenari di trasformazione dei dati e di pubblicazione con ML a livello di scalabilità di Spanner riduce la barriera all'ingresso ML e consente un'esperienza utente molto più fluida.
  • Costi:
    • L'integrazione di Spanner Vertex AI utilizza la capacità di calcolo di Spanner per unire i risultati dei calcoli ML e dell'esecuzione delle query SQL, eliminando così la necessità di eseguire il provisioning di un'ulteriore capacità di calcolo (ad esempio, in Compute Engine o Google Kubernetes Engine).

Come funziona l'integrazione di Spanner Vertex AI?

L'integrazione di Spanner Vertex AI non ospita modelli ML, ma si basa sull'infrastruttura dei servizi Vertex AI. Non è necessario addestrare un modello utilizzando Vertex AI per utilizzarlo con l'integrazione di Spanner Vertex AI, ma devi eseguirne il deployment su un endpoint Vertex AI.

Per addestrare i modelli su dati archiviati in Spanner, puoi utilizzare quanto segue:

L'integrazione di Spanner Vertex AI estende le seguenti funzioni per l'utilizzo dei modelli ML:

  • Generare previsioni ML chiamando un modello tramite SQL sui tuoi dati Spanner. Puoi utilizzare un modello da Vertex AI Model Garden o un modello di cui è stato eseguito il deployment nel tuo endpoint Vertex AI.

  • Genera incorporamenti di testo per far sì che un LLM traduca i prompt di testo in numeri. Per scoprire di più sugli incorporamenti, consulta Ottenere incorporamenti di testo.

Utilizzo delle funzioni di integrazione di Spanner Vertex AI

È possibile utilizzare un modello nell'integrazione di Spanner Vertex AI per generare previsioni o incorporamenti di testo nel codice SQL utilizzando le funzioni di previsione ML. Queste funzioni sono le seguenti:

GoogleSQL

Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:

ML.PREDICT

Devi registrare il modello utilizzando l'istruzione DDL CREATE MODEL prima di utilizzarlo con la funzione ML.PREDICT.

Puoi anche utilizzare SAFE.ML.PREDICT per restituire null anziché un errore nelle previsioni. Ciò è utile nei casi in cui si eseguono query di grandi dimensioni in cui alcune previsioni non riuscite sono tollerabili.

PostgreSQL

Puoi utilizzare la seguente funzione di previsione ML per PostgreSQL:

spanner.ML_PREDICT_ROW

Per utilizzare le funzioni, puoi selezionare un modello da Vertex AI Model Garden o utilizzarne uno di cui hai eseguito il deployment in Vertex AI.

Per maggiori informazioni su come eseguire il deployment di un modello in un endpoint in Vertex AI, consulta Eseguire il deployment di un modello in un endpoint.

Per saperne di più su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.

Per ulteriori informazioni su come utilizzare queste funzioni per generare incorporamenti di testo, consulta Ottenere incorporamenti di testo.

Prezzi

Non sono previsti addebiti aggiuntivi da parte di Spanner quando lo utilizzi con l'integrazione di Spanner Vertex AI. Tuttavia, a questa funzionalità sono associati altri potenziali addebiti:

  • Paghi le tariffe standard per la previsione online di Vertex AI. L'addebito totale dipende dal tipo di modello utilizzato. Alcuni tipi di modelli hanno una tariffa oraria fissa, che dipende dal tipo di macchina e dal numero di nodi utilizzati. Alcuni tipi di modelli prevedono tariffe per chiamata. Ti consigliamo di eseguire il deployment di quest'ultimo in un progetto dedicato in cui hai impostato quote di previsione esplicite.

  • Paghi le tariffe standard per il trasferimento di dati tra Spanner e Vertex AI. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint chiamato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Vertex AI nella stessa regione dell'istanza Spanner. Se utilizzi configurazioni di istanze multiregionali o più endpoint Vertex AI, esegui il deployment dei tuoi endpoint nello stesso continente.

SLA

Poiché la disponibilità delle previsioni online di Vertex AI è inferiore, devi configurare correttamente i modelli ML Spanner per mantenere l'alta disponibilità di Spanner durante l'utilizzo dell'integrazione di Spanner Vertex AI:

  1. I modelli ML di Spanner devono usare più endpoint Vertex AI nel backend per abilitare il failover.
  2. Gli endpoint Vertex AI devono essere conformi allo SLA di Vertex AI.
  3. Gli endpoint Vertex AI devono eseguire il provisioning di capacità sufficiente per gestire il traffico in entrata.
  4. Gli endpoint Vertex AI devono utilizzare regioni separate vicine al database di Spanner per evitare interruzioni regionali.
  5. Gli endpoint Vertex AI devono usare progetti separati per evitare problemi con le quote di previsione per progetto.

Il numero di endpoint Vertex AI ridondanti dipende dal rispettivo SLA e dal numero di righe nelle query Spanner:

SLA di Spanner SLA di Vertex AI 1 riga 10 righe 100 righe 1000 righe
99,99% 99,9% 2 2 2 3
99,99% 99,5% 2 3 3 4
99,999% 99,9% 2 2 3 3
99,999% 99,5% 3 3 4 4

Gli endpoint Vertex AI non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello ML di Spanner in modo che abbia un modello primario, complesso e ad alta intensità di calcolo come primo endpoint. Gli endpoint di failover successivi possono puntare a modelli semplificati che hanno una minore intensità di calcolo, offrono una scalabilità migliore e sono in grado di assorbire picchi di traffico.

Conformità

Assured Workloads non supporta l'API Vertex AI Prediction. L'abilitazione di un vincolo di utilizzo delle risorse per limitare l'utilizzo delle risorse disabilita l'API Vertex AI e di fatto la funzionalità di integrazione di Spanner Vertex AI.

Inoltre, ti consigliamo di creare un perimetro dei Controlli di servizio VPC per assicurarti che i database di produzione non possano connettersi agli endpoint Vertex AI nei tuoi progetti non di produzione che potrebbero non avere la configurazione di conformità adeguata.