Use esta página para entender as diferenças entre a Vertex AI e o BigQuery e saiba como integrar a Vertex AI aos fluxos de trabalho atuais do BigQuery. A Vertex AI e o BigQuery trabalham juntos para atender aos casos de uso de machine learning e MLOps.
Para saber mais sobre as diferenças de treinamento de modelos entre a Vertex AI e o BigQuery, consulte Escolher um método de treinamento.
Diferenças entre a Vertex AI e o BigQuerys
Nesta seção, abordamos os serviços da Vertex AI, do BigQuery e do BigQuery ML.
Vertex AI: uma plataforma de IA/ML de ponta a ponta
A Vertex AI é uma plataforma de IA/ML para desenvolvimento e governança de modelos. Os casos de uso comuns incluem:
- Tarefas de aprendizado de máquina, como previsão, predição, recomendação e detecção de anomalias
Tarefas de IA generativa, como:
- Geração, classificação, resumo e extração de textos
- Geração e conclusão de código
- Geração de imagens
- Geração de embedding
É possível usar o BigQuery para preparar dados de treinamento para modelos da Vertex AI, que podem ser disponibilizados como recursos na Vertex AI Feature Store.
É possível treinar modelos na Vertex AI de três maneiras:
- AutoML: treine modelos em conjuntos de dados de imagens, tabulares e vídeos sem escrever código.
- Treinamento personalizado: execute o código de treinamento personalizado de acordo com seu caso de uso específico.
- Ray na Vertex AI: use o Ray para escalonar aplicativos de IA e Python, como machine learning.
Também é possível importar um modelo treinado em outra plataforma, como o BigQuery ML ou o XGBoost.
É possível registrar modelos personalizados no Vertex AI Model Registry. Também é possível importar modelos treinados fora da Vertex AI e registrá-los no Registro de modelos da Vertex AI. Você não precisa registrar modelos do AutoML. Eles são registrados automaticamente no momento da criação.
No registro, é possível gerenciar versões de modelos, fazer implantações em endpoints para previsões on-line, realizar avaliações de modelos, monitorar implantações com o Vertex AI Model Monitoring e usar a Vertex Explainable AI.
Idiomas disponíveis:
- O SDK da Vertex AI oferece suporte a Python, Java, Node.js e Go.
BigQuery: um armazenamento de dados corporativo sem servidor e com várias nuvens
O BigQuery é um armazenamento de dados corporativo totalmente gerenciado que ajuda a gerenciar e analisar dados com recursos integrados, como aprendizado de máquina, análise geoespacial e business intelligence. As tabelas do BigQuery podem ser consultadas pelo SQL, e os cientistas de dados que usam principalmente SQL podem executar consultas grandes com apenas algumas linhas de código.
Também é possível usar o BigQuery como um armazenamento de dados referenciado ao criar modelos tabulares e personalizados na Vertex AI. Para saber mais sobre como usar o BigQuery como um armazenamento de dados, consulte Visão geral do armazenamento do BigQuery.
Idiomas disponíveis:
- SDKs para o BigQuery. Para saber mais, consulte as bibliotecas de cliente da API BigQuery
- GoogleSQL
- SQL legado
Para saber mais, consulte Dialetos SQL do BigQuery.
BigQuery ML: machine learning diretamente no BigQuery
O BigQuery ML permite desenvolver e invocar modelos no BigQuery. Com o BigQuery ML, é possível usar o SQL para treinar modelos de ML diretamente no BigQuery sem precisar mover dados ou se preocupar com a infraestrutura de treinamento subjacente. É possível criar previsões em lote para modelos do BigQuery ML e receber insights dos seus dados do BigQuery.
Também é possível acessar modelos da Vertex AI usando o BigQuery ML. É possível criar um modelo remoto do BigQuery ML em um modelo integrado da Vertex AI, como o Gemini, ou em um modelo personalizado da Vertex AI. Você interage com o modelo remoto usando SQL no BigQuery, assim como qualquer outro modelo do BigQuery ML, mas todo o treinamento e a inferência do modelo remoto são processados na Vertex AI.
Idioma disponível:
- GoogleSQL
- Bibliotecas de cliente do BigQuery
Para saber mais sobre as vantagens de usar o BigQuery ML, consulte Introdução à IA e ao ML no BigQuery.
Benefícios de gerenciar modelos do BigQuery ML na Vertex AI
É possível registrar modelos do BigQuery ML no Model Registry para gerenciá-los na Vertex AI. O gerenciamento de modelos do BigQuery ML na Vertex AI oferece dois benefícios principais:
Exibição de modelo on-line: o BigQuery ML é compatível apenas com previsões em lote para seus modelos. Para receber previsões on-line, é possível treinar seus modelos no BigQuery ML e implantá-los em endpoints da Vertex AI usando o Vertex AI Model Registry.
Recursos de MLOps: os modelos são mais benéficos quando são atualizados por meio de treinamento contínuo. A Vertex AI oferece ferramentas de MLOps que automatizam o monitoramento e o retreinamento de modelos para manter a precisão das previsões ao longo do tempo. Com o Vertex AI Pipelines, é possível usar operadores do BigQuery para conectar qualquer job do BigQuery (incluindo o BigQuery ML) a um pipeline de ML. Com o monitoramento de modelos da Vertex AI, é possível monitorar suas previsões do BigQuery ML ao longo do tempo.
Para saber como registrar seus modelos do BigQuery ML no Model Registry, consulte Gerenciar modelos do BigQuery ML com a Vertex AI.
Tutoriais de notebook relacionados
| O que você quer fazer? | Recurso |
|---|---|
| Usar o BigQuery ML para analisar imagens e textos com o Gemini na Vertex AI | Como analisar pôsteres de filmes no BigQuery com o Gemini 1.5 Flash |
| Use o BigQuery ML para gerar texto em tabelas do BigQuery ou dados não estruturados com modelos de base na Vertex AI | Gerar texto usando o BigQuery ML e modelos de fundação na Vertex AI |
| Gerar embeddings de vetores com o BigQuery ML em texto e imagens | Chamar um endpoint de incorporação multimodal na Vertex AI pelo BigQuery ML para gerar incorporações para a pesquisa semântica |
| Use dois pipelines de fluxos de trabalho tabulares da Vertex AI para treinar um modelo do AutoML usando configurações diferentes. | Fluxo de trabalho tabular: pipeline tabular do AutoML |
| Use o SDK da Vertex AI para Python para treinar um modelo de AutoML para regressão tabular e receber previsões em lote do modelos | SDK do Vertex AI para Python: modelo de regressão tabular do treinamento do AutoML para previsão em lote usando o BigQuery |
| Treinar e avaliar um modelo de propensão no BigQuery ML para prever a retenção de usuários em um jogo para dispositivos móveis. | Previsão de desligamento de usuários para desenvolvedores de jogos que usam o Google Analytics 4 e o BigQuery ML. |
| Usar o BigQuery ML para otimizar os preços dos dados de CDM | Análise de otimização de preços nos dados de preços de CDM |
A seguir
- Para começar a usar a Vertex AI, consulte: