Esta página oferece uma visão geral da integração da Vertex AI com o Spanner. A integração da Vertex AI do Spanner funciona com os bancos de dados GoogleSQL e PostgreSQL.
A integração da Vertex AI com o Spanner ajuda a acessar modelos de ML de regressão e classificação hospedados na Vertex AI pela interface do GoogleSQL e do PostgreSQL. Isso ajuda a integrar perfeitamente a funcionalidade de fornecimento de previsões de ML com operações gerais de acesso a dados do Spanner realizadas usando consultas DQL/DML.
Benefícios da integração da Vertex AI com o Spanner
A geração de previsões de ML usando a integração da Vertex AI com o Spanner oferece vários benefícios em comparação com a abordagem em que o acesso aos dados do Spanner e ao endpoint de previsão da Vertex AI são realizados separadamente:
- Desempenho:
- Melhor latência: a integração da Vertex AI com o Spanner que se comunica diretamente com o serviço da Vertex AI elimina viagens de ida e volta adicionais entre um nó de computação que executa um cliente do Spanner e o serviço da Vertex AI.
- Melhor throughput/paralelismo: a integração da Vertex AI com o Spanner é executada na infraestrutura de processamento de consultas distribuídas do Spanner, que oferece suporte à execução de consultas altamente paralelas.
- Experiência do usuário:
- Capacidade de usar uma interface SQL única, simples, coerente e familiar para facilitar a transformação de dados e os cenários de fornecimento de ML no nível de escala do Spanner, reduzindo a barreira de entrada do ML e permitindo uma experiência do usuário muito mais suave.
- Custos:
- A integração da Vertex AI com o Spanner usa a capacidade de computação do Spanner para mesclar os resultados das computações de ML e a execução de consulta SQL, o que elimina a necessidade de provisionar uma computação adicional (por exemplo, no Compute Engine ou no Google Kubernetes Engine) para isso.
Como funciona a integração da Vertex AI com o Spanner?
A integração da Vertex AI com o Spanner não hospeda modelos de ML, mas depende da infraestrutura do serviço da Vertex AI. Não é necessário treinar um modelo usando a Vertex AI para usá-lo com a integração da Spanner Vertex AI, mas é necessário implantá-lo em um endpoint da Vertex AI.
Para treinar modelos com dados armazenados no Spanner, use:
Dataflow para exportar dados do Spanner no formato CSV e importar a fonte de dados CSV para o Vertex AI.
A integração da Vertex AI com o Spanner estende as seguintes funções para usar modelos de ML:
Gerar previsões de ML chamando um modelo usando SQL nos seus dados do Spanner. É possível usar um modelo do Vertex AI Model Garden ou um modelo implantado no seu endpoint da Vertex AI.
Gerar embeddings de texto para que um LLM traduza comandos de texto em números. Para saber mais sobre embeddings, consulte Usar embeddings de texto.
Como usar as funções de integração da Vertex AI com o Spanner
Um modelo na integração da Vertex AI com o Spanner pode ser usado para gerar previsões ou embeddings de texto no código SQL usando as funções de previsão de ML. Estas funções são as seguintes:
GoogleSQL
Você pode usar a seguinte função de previsão de ML para o GoogleSQL:
É necessário registrar seu modelo usando a instrução DDL CREATE MODEL antes de usá-lo com a função ML.PREDICT.
Também é possível usar SAFE.ML.PREDICT para retornar null em vez de um erro nas
previsões. Isso é útil nos casos em que são executadas consultas grandes
em que algumas previsões com falhas são toleráveis.
PostgreSQL
Você pode usar a seguinte função de previsão de ML para PostgreSQL:
Para usar as funções, selecione um modelo no Model Garden da Vertex AI ou use um modelo implantado na Vertex AI.
Para mais informações sobre como implantar um modelo em um endpoint na Vertex AI, consulte Implantar um modelo em um endpoint.
Para mais informações sobre como usar essas funções para gerar uma previsão de ML, consulte Gerar previsões de ML usando SQL.
Para mais informações sobre como usar essas funções para gerar embeddings de texto, consulte Usar embeddings de texto.
Preços
Não há cobranças extras do Spanner quando você o usa com a integração da Vertex AI. No entanto, há outros custos potenciais associados a esse recurso:
Você paga as taxas padrão para a previsão on-line da Vertex AI. A cobrança total depende do tipo de modelo que você usa. Alguns tipos de modelo têm uma taxa fixa por hora, dependendo do tipo de máquina e do número de nós usados. Alguns tipos de modelo têm taxas por chamada. Recomendamos que você implante o último em um projeto dedicado em que você definiu cotas de previsão explícitas.
Você paga as taxas padrão para a transferência de dados entre o Spanner e a Vertex AI. A cobrança total depende da região que hospeda o servidor que executa a consulta e da região que hospeda o endpoint chamado. Para minimizar as cobranças, implante os endpoints da Vertex AI na mesma região da sua instância do Spanner. Ao usar configurações de instâncias multirregionais ou vários endpoints da Vertex AI, implante seus endpoints no mesmo continente.
SLA
Como a disponibilidade de previsões on-line da Vertex AI é menor, é necessário configurar corretamente os modelos de ML do Spanner para manter a alta disponibilidade do Spanner ao usar a integração da Vertex AI com o Spanner:
- Os modelos de ML do Spanner precisam usar vários endpoints da Vertex AI no back-end para ativar a failover.
- Os endpoints da Vertex AI precisam estar em conformidade com o SLA da Vertex AI.
- Os endpoints da Vertex AI precisam provisionar capacidade suficiente para processar o tráfego de entrada.
- Os endpoints da Vertex AI precisam usar regiões separadas próximas ao banco de dados do Spanner para evitar falhas regionais.
- Os endpoints da Vertex AI precisam usar projetos separados para evitar problemas com cotas de previsão por projeto.
O número de endpoints redundantes da Vertex AI depende do SLA e do número de linhas nas consultas do Spanner:
| SLA do Spanner | SLA da Vertex AI | 1 linha | 10 linhas | 100 linhas | 1.000 linhas |
|---|---|---|---|---|---|
| 99,99% | 99,9% | 2 | 2 | 2 | 3 |
| 99,99% | 99,5% | 2 | 3 | 3 | 4 |
| 99,999% | 99,9% | 2 | 2 | 3 | 3 |
| 99,999% | 99,5% | 3 | 3 | 4 | 4 |
Os endpoints da Vertex AI não precisam hospedar exatamente o mesmo modelo. Recomendamos que você configure o modelo de ML do Spanner para ter um modelo principal, complexo e com uso intensivo de computação como primeiro endpoint. Os endpoints de failover posteriores podem apontar para modelos simplificados que exigem menos computação, são dimensionados melhor e podem absorver picos de tráfego.
Compliance
As Assured Workloads não oferecem suporte à API Previsão da Vertex AI. Ativar uma restrição de uso de recursos desativa a API Vertex AI e, de fato, o recurso de integração da Vertex AI com o Spanner.
Além disso, recomendamos que você crie um perímetro do VPC Service Controls para garantir que os bancos de dados de produção não possam se conectar aos endpoints da Vertex AI nos projetos que não são de produção e que podem não ter a configuração de compliance adequada.