Panoramica dell'integrazione di Spanner Vertex AI

Questa pagina fornisce una panoramica dell'integrazione di Spanner Vertex AI. L'integrazione di Spanner Vertex AI funziona con i database GoogleSQL e PostgreSQL.

L'integrazione di Spanner Vertex AI consente di accedere ai modelli ML di regressione e classificazione ospitati su Vertex AI tramite l'interfaccia di GoogleSQL e PostgreSQL. Ciò consente di integrare perfettamente la funzionalità di distribuzione delle previsioni ML con le operazioni generali di accesso ai dati di Spanner eseguite utilizzando le query DQL/DML.

Vantaggi dell'integrazione di Spanner Vertex AI

La generazione di previsioni ML mediante l'integrazione di Spanner Vertex AI offre diversi vantaggi rispetto all'approccio in cui l'accesso ai dati di Spanner e l'accesso all'endpoint di previsione di Vertex AI vengono eseguiti separatamente:

  • Prestazioni:
    • Migliore latenza: l'integrazione di Spanner Vertex AI comunica direttamente con il servizio Vertex AI eliminando ulteriori round trip tra un nodo di computing che esegue un client di Spanner e il servizio Vertex AI.
    • Migliore velocità effettiva/parallelismo: l'integrazione di Spanner Vertex AI viene eseguita sull'infrastruttura di elaborazione delle query distribuita di Spanner, che supporta l'esecuzione di query altamente parallelizzabili.
  • Esperienza utente:
    • La possibilità di utilizzare un'unica interfaccia SQL semplice, coerente e familiare per facilitare gli scenari di trasformazione dei dati e di gestione del machine learning a livello di Spanner riduce la barriera di ingresso del ML e consente un'esperienza utente molto più fluida.
  • Costi:
    • L'integrazione di Spanner Vertex AI utilizza la capacità di calcolo di Spanner per unire i risultati dei calcoli ML e dell'esecuzione di query SQL, eliminando così la necessità di eseguire il provisioning di un'ulteriore risorsa di calcolo (ad esempio, in Compute Engine o Google Kubernetes Engine).

Come funziona l'integrazione di Spanner Vertex AI?

L'integrazione di Spanner Vertex AI non ospita i modelli ML, ma si basa sull'infrastruttura del servizio Vertex AI. Non è necessario addestrare un modello utilizzando Vertex AI per utilizzarlo con l'integrazione di Spanner Vertex AI, ma devi eseguirne il deployment su un endpoint Vertex AI.

Per addestrare modelli sui dati archiviati in Spanner, puoi utilizzare quanto segue:

L'integrazione di Spanner Vertex AI estende le seguenti funzioni per l'utilizzo dei modelli ML:

  • Generare previsioni ML chiamando un modello usando SQL sui tuoi dati Spanner. Puoi utilizzare un modello di Vertex AI Model Garden o un modello di cui è stato eseguito il deployment nell'endpoint Vertex AI.

  • Genera incorporamenti di testo per far sì che un LLM traduca i prompt di testo in numeri. Per scoprire di più sugli incorporamenti, consulta Recuperare gli incorporamenti di testo.

Utilizzo delle funzioni di integrazione di Spanner Vertex AI

È possibile utilizzare un modello nell'integrazione di Spanner Vertex AI per generare previsioni o incorporamenti di testo nel codice SQL utilizzando le funzioni di previsione ML. Queste funzioni sono le seguenti:

GoogleSQL

Puoi utilizzare la seguente funzione di previsione ML per GoogleSQL:

ML.PREDICT

Devi registrare il modello utilizzando l'istruzione DDL CREATE MODEL prima di utilizzarlo con la funzione ML.PREDICT.

Puoi anche utilizzare SAFE.ML.PREDICT per restituire null invece di un errore nelle previsioni. È utile nei casi in cui si eseguono query di grandi dimensioni e per cui alcune previsioni non riuscite sono tollerabili.

PostgreSQL

Puoi utilizzare la seguente funzione di previsione ML per PostgreSQL:

spanner.ML_PREDICT_ROW

Per utilizzare le funzioni, puoi selezionare un modello da Vertex AI Model Garden o utilizzare un modello di cui hai eseguito il deployment in Vertex AI.

Per ulteriori informazioni su come eseguire il deployment di un modello in un endpoint in Vertex AI, consulta Eseguire il deployment di un modello in un endpoint.

Per ulteriori informazioni su come utilizzare queste funzioni per generare una previsione ML, consulta Generare previsioni ML utilizzando SQL.

Per ulteriori informazioni su come utilizzare queste funzioni per generare incorporamenti di testo, consulta Ottenere incorporamenti di testo.

Prezzi

Non sono previsti costi aggiuntivi da parte di Spanner se lo utilizzi con l'integrazione di Spanner Vertex AI. Tuttavia, esistono altri potenziali addebiti associati a questa funzionalità:

  • Paghi le tariffe standard per la previsione online di Vertex AI. Il costo totale dipende dal tipo di modello utilizzato. Alcuni tipi di modelli hanno una tariffa oraria fissa, a seconda del tipo di macchina e del numero di nodi utilizzati. Alcuni tipi di modello hanno tariffe per chiamata. Ti consigliamo di eseguire il deployment di quest'ultima in un progetto dedicato in cui hai impostato quote di previsione esplicite.

  • Paghi le tariffe standard per il trasferimento di dati tra Spanner e Vertex AI. L'addebito totale dipende dalla regione che ospita il server che esegue la query e dalla regione che ospita l'endpoint denominato. Per ridurre al minimo gli addebiti, esegui il deployment degli endpoint Vertex AI nella stessa regione dell'istanza Spanner. Quando utilizzi configurazioni di istanze multiregionali o più endpoint Vertex AI, esegui il deployment degli endpoint nello stesso continente.

SLA

Poiché la disponibilità delle previsioni online di Vertex AI è inferiore, devi configurare correttamente i modelli ML di Spanner per mantenere l'alta disponibilità di Spanner durante l'utilizzo dell'integrazione di Spanner Vertex AI:

  1. Per abilitare il failover, i modelli ML di Spanner devono usare più endpoint Vertex AI nel backend.
  2. Gli endpoint Vertex AI devono essere conformi allo SLA di Vertex AI.
  3. Gli endpoint Vertex AI devono eseguire il provisioning di capacità sufficiente per gestire il traffico in entrata.
  4. Gli endpoint Vertex AI devono utilizzare regioni separate vicino al database Spanner per evitare interruzioni a livello di regione.
  5. Gli endpoint Vertex AI dovrebbero usare progetti separati per evitare problemi con le quote di previsione per progetto.

Il numero di endpoint Vertex AI ridondanti dipende dal relativo SLA (accordo sul livello del servizio) e dal numero di righe nelle query Spanner:

SLA (accordo sul livello del servizio) di Spanner SLA di Vertex AI 1 riga 10 righe 100 righe 1000 righe
99,99% 99,9% 2 2 2 3
99,99% 99,5% 2 3 3 4
99,999% 99,9% 2 2 3 3
99,999% 99,5% 3 3 4 4

Gli endpoint Vertex AI non devono ospitare esattamente lo stesso modello. Ti consigliamo di configurare il modello ML di Spanner in modo che abbia un modello primario, complesso e ad alta intensità di calcolo come primo endpoint. Gli endpoint di failover successivi possono puntare a modelli semplificati che richiedono meno tempo di calcolo, garantiscono una scalabilità migliore e possono assorbire picchi di traffico.

Conformità

Assured Workloads non supporta l'API Vertex AI Prediction. L'abilitazione di un vincolo di limitazione dell'utilizzo delle risorse disattiva l'API Vertex AI e, di fatto, la funzionalità di integrazione di Spanner Vertex AI.

Inoltre, ti consigliamo di creare un perimetro Controlli di servizio VPC per garantire che i database di produzione non possano connettersi agli endpoint Vertex AI nei progetti non di produzione che potrebbero non avere la configurazione di conformità corretta.