Sobre a integração da Vertex AI com o Spanner

Nesta página, você encontra uma visão geral da integração da Vertex AI com o Spanner.

A integração da Vertex AI com o Spanner ajuda a acessar modelos de ML de regressão e classificador hospedados na Vertex AI por meio da interface do GoogleSQL. Isso ajuda a integrar perfeitamente a funcionalidade de veiculação de previsões de ML com as operações gerais de acesso a dados do Cloud Spanner realizadas usando consultas DQL/DML.

A integração da Vertex AI com o Spanner compartilha a mesma sintaxe SQL com o BigQuery ML, mesmo que apenas um subconjunto da sintaxe do BigQuery ML seja compatível.

Benefícios da integração da Vertex AI com o Spanner

A geração de previsões de ML usando a integração da Vertex AI com o Spanner oferece vários benefícios em comparação à abordagem em que o acesso aos dados do Cloud Spanner e o acesso ao endpoint de previsão da Vertex AI são realizados separadamente:

  • Desempenho:
    • Melhor latência: a integração da Vertex AI do Spanner com o serviço da Vertex AI elimina diretamente os ciclos de ida e volta extras entre um nó de computação que executa um cliente do Cloud Spanner e o serviço da Vertex AI.
    • Melhor capacidade/paralelismo: a integração da Vertex AI com o Spanner é executada na infraestrutura de processamento de consultas distribuídas do Cloud Spanner, que dá suporte à execução de consultas altamente carregável em paralelo.
  • Experiência do usuário:
    • A capacidade de usar uma interface SQL simples, coerente e familiar para facilitar a transformação de dados e os cenários de exibição de ML no nível de escala do Cloud Spanner diminui a barreira de entrada de ML e permite uma experiência do usuário muito mais suave.
  • Custos:
    • A integração da Vertex AI com o Spanner usa a capacidade de computação do Cloud Spanner para mesclar os resultados dos cálculos de ML e a execução de consulta SQL, o que elimina a necessidade de provisionar uma computação extra (por exemplo, no Compute Engine ou no Google Kubernetes Engine) para isso.

Como funciona a integração da Vertex AI com o Spanner?

A integração da Vertex AI com o Spanner não hospeda modelos de ML, mas depende da infraestrutura de serviço da Vertex AI. Para que um modelo seja usado com a integração da Vertex AI com o Spanner, ele já precisa estar treinado e implantado na Vertex AI.

A integração da Vertex AI com o Spanner também não oferece nenhuma funcionalidade especial de treinamento de ML. Para treinar modelos com dados armazenados no Cloud Spanner, é possível usar uma das seguintes opções:

Assim que um modelo é implantado no serviço da Vertex AI, um proprietário do banco de dados pode registrar esse modelo usando a instrução DDL CREATE MODEL. Depois disso, é possível referenciar o modelo nas funções ML.PREDICT para produzir previsões.

Consulte Gerar previsões de ML usando SQL para um tutorial sobre como usar a integração da Vertex AI com o Spanner.

Preços

Não há cobranças extras do Cloud Spanner pelo uso da integração da Vertex AI com o Spanner. No entanto, existem outras cobranças potenciais associadas a esse recurso:

  • Você paga as taxas padrão de previsão on-line da Vertex AI. O valor total depende do tipo de modelo que você usa. Alguns tipos de modelo têm uma taxa fixa por hora, dependendo do tipo de máquina e do número de nós que você usa. Alguns tipos de modelo têm taxas por chamada. Recomendamos que você implante o último em um projeto dedicado em que você definiu cotas de previsão explícitas.

  • Você paga as taxas padrão para a transferência de dados entre o Cloud Spanner e a Vertex AI. A cobrança total depende da região que hospeda o servidor que executa a consulta e da região que hospeda o endpoint chamado. Para reduzir as cobranças, implante os endpoints da Vertex AI na mesma região que a instância do Cloud Spanner. Ao usar configurações de instâncias multirregionais ou vários endpoints da Vertex AI, implante seus endpoints no mesmo continente.

SLA

Como a disponibilidade de previsão on-line da Vertex AI está sendo menor, configure corretamente os modelos de ML do Cloud Spanner para manter a alta disponibilidade do Cloud Spanner durante o uso da integração da Vertex AI com o Spanner:

  1. Os modelos de ML do Cloud Spanner precisam usar vários endpoints da Vertex AI no back-end para ativar o failover.
  2. Os endpoints da Vertex AI precisam estar em conformidade com o SLA da Vertex AI.
  3. Os endpoints da Vertex AI precisam provisionar capacidade suficiente para lidar com o tráfego de entrada.
  4. Os endpoints da Vertex AI precisam usar regiões separadas próximas ao banco de dados do Cloud Spanner para evitar interrupções regionais.
  5. Os endpoints da Vertex AI precisam usar projetos separados para evitar problemas com as cotas de previsão por projeto.

O número de endpoints redundantes da Vertex AI depende do SLA e do número de linhas nas consultas do Cloud Spanner:

SLA do Spanner SLA da Vertex AI 1 linha 10 linhas 100 linhas 1.000 linhas
99,99% 99,9% 2 2 2 3
99,99% 99,5% 2 3 3 4
99,999% 99,9% 2 2 3 3
99,999% 99,5% 3 3 4 4

Os endpoints da Vertex AI não precisam hospedar exatamente o mesmo modelo. Recomendamos que você configure o modelo de ML do Cloud Spanner para ter um modelo primário, complexo e de uso intensivo de computação como primeiro endpoint. Os endpoints de failover subsequentes podem apontar para modelos simplificados que usam menos computação, escalonam melhor e podem absorver picos de tráfego.

Compliance

O Assured Workloads não oferece suporte à API Vertex AI Prediction. Ativar uma restrição de uso de recursos restritos desativa a API Vertex AI e o recurso de integração da Vertex AI do Spanner.

Além disso, recomendamos que você crie um perímetro do VPC Service Controls para garantir que os bancos de dados de produção não possam se conectar a endpoints da Vertex AI nos projetos que não são de produção, que podem não ter a configuração de conformidade adequada.