A pesquisa vetorial é baseada na tecnologia de pesquisa vetorial desenvolvida pela pesquisa do Google. Com a Pesquisa de vetor, você pode aproveitar a mesma pesquisa e tecnologia que fornecem uma base para os produtos do Google, como a Pesquisa Google, o YouTube e o Google Play.
A Pesquisa de vetor, que usa o algoritmo ScaNN desenvolvido pela Google Research, oferece a mesma escalabilidade, disponibilidade e performance que sustenta produtos do Google, como a Pesquisa Google, o YouTube e o Google Play. Isso a torna uma solução ideal para criar sistemas de pesquisa e recomendação de nível empresarial e aplicativos de IA generativa.
|
|
Infinite Fleurs: descubra a criatividade assistida por IA em toda a sua plenitude |
|
Primeiros passos
Guia de início rápido da Pesquisa de vetor: teste a Pesquisa de vetor em 30 minutos criando, implantando e consultando um índice da Pesquisa de vetor usando um conjunto de dados de exemplo. Este tutorial aborda a configuração, a preparação de dados, a criação de índices, a implantação, a consulta e a limpeza.
Antes de começar: prepare as embeddings escolhendo e treinando um modelo e preparando os dados. Em seguida, escolha um endpoint público ou particular para implantar o índice de consulta.
Preços e calculadora de preços da Pesquisa Vetorial: os preços da Pesquisa Vetorial incluem o custo de máquinas virtuais usadas para hospedar índices implantados, além das despesas de criação e atualização de índices. Mesmo uma configuração mínima (menos de US $100 por mês) pode acomodar uma alta taxa de transferência para casos de uso de tamanho moderado. Para estimar seus custos mensais:
- Acesse a calculadora de preços do Google Cloud.
- Clique em Adicionar à estimativa.
- Pesquise a Vertex AI.
- Clique no botão Vertex AI.
- Escolha Vertex AI Vector Search no menu suspenso Tipo de serviço.
- Mantenha as configurações padrão ou defina as suas. O custo estimado por mês é mostrado no painel Detalhes do custo.
Documentação
Gerenciar índices e endpoints
Tópicos avançados
Casos de uso e blogs
A tecnologia de pesquisa vetorial está se tornando um hub central para empresas que usam IA. Assim como os bancos de dados relacionais funcionam em sistemas de TI, ele conecta vários elementos de negócios, como documentos, conteúdo, produtos, usuários, eventos e outras entidades com base na relevância. Além de pesquisar mídias convencionais, como documentos e imagens,o Vector Search também pode gerar recomendações inteligentes, associar problemas de negócios a soluções e até vincular sinais de IoT a alertas de monitoramento. É uma ferramenta versátil e essencial para navegar pelo cenário crescente de dados corporativos com tecnologia de IA.
|
Pesquisa / Recuperação de informações
Sistemas de recomendação |
O eBay usa a Pesquisa de vetores para recomendações: Destaca como o eBay usa a Pesquisa de vetores no sistema de recomendação. Essa tecnologia permite que o eBay encontre produtos semelhantes no catálogo, melhorando a experiência do usuário. O Mercari usa a tecnologia de pesquisa de vetor do Google para criar um novo marketplace: Explica como o Mercari usa a pesquisa de vetor para melhorar a nova plataforma de marketplace. A pesquisa de vetores alimenta as recomendações da plataforma, ajudando os usuários a encontrar produtos relevantes com mais eficiência. Embeddings da Vertex AI para texto: embasamento de LLMs facilitado:se concentra em embasamento de LLMs usando embeddings da Vertex AI para dados de texto. A pesquisa vetorial desempenha um papel importante na busca de passagens de texto relevantes que garantem que as respostas do modelo sejam baseadas em informações factuais. O que é a pesquisa multimodal: "LLMs com visão" mudam os negócios: Discute a pesquisa multimodal, que combina LLMs com compreensão visual. Ele explica como a Pesquisa vetorial processa e compara dados de texto e imagem, permitindo experiências de pesquisa mais abrangentes. Como dimensionar a recuperação profunda com o TensorFlow Recommenders e o Vertex AI Matching Engine: explica como criar um sistema de recomendação de playlist usando o TensorFlow Recommenders e a Pesquisa Vetorial, cobrindo modelos de recuperação profunda, treinamento, implantação e dimensionamento. |
|
IA generativa: recuperação para RAG e agentes |
Vertex AI e Denodo desbloqueiam dados corporativos com a IA generativa: mostra como a integração da Vertex AI com a Denodo permite que as empresas usem a IA generativa para gerar insights com base nos dados. A pesquisa de vetor é fundamental para acessar e analisar dados relevantes de maneira eficiente em um ambiente empresarial. Natureza infinita e a natureza dos setores: essa demonstração "selvagem" mostra as diversas possibilidades da IA: Apresenta uma demonstração que ilustra o potencial da IA em diferentes setores. Ele usa a pesquisa vetorial para gerar recomendações generativas e pesquisa semântica multimodal. Infinite Fleurs: descubra a criatividade assistida por IA em toda a sua plenitude: O Infinite Fleurs do Google, um experimento de IA que usa a Pesquisa por vetor, modelos Gemini e Imagen, gera buquês de flores exclusivos com base nas solicitações do usuário. Essa tecnologia mostra o potencial da IA para inspirar a criatividade em vários setores. LlamaIndex para RAG no Google Cloud:descreve como usar o LlamaIndex para facilitar a geração aumentada de recuperação (RAG, na sigla em inglês) com modelos de linguagem grandes. O LlamaIndex usa a Pesquisa de vetores para extrair informações relevantes de uma base de conhecimento, resultando em respostas mais precisas e adequadas ao contexto. RAG e endereçamento na Vertex AI: examina a RAG e as técnicas de endereçamento na Vertex AI. A pesquisa vetorial ajuda a identificar informações de base relevantes durante a recuperação, o que torna o conteúdo gerado mais preciso e confiável. Vertex AI Vector Search no LangChain:fornece um guia para usar a Vector Search com o LangChain para criar e implantar um índice de banco de dados vetorial para dados de texto, incluindo respostas a perguntas e processamento de PDF. |
|
BI, análise de dados, monitoramento e muito mais |
Como ativar a IA em tempo real com a ingestão de streaming na Vertex AI: analisa a atualização de streaming na pesquisa de vetor e como ela oferece recursos de IA em tempo real. Essa tecnologia permite o processamento e a análise em tempo real dos fluxos de dados recebidos. |
Recursos relacionados
Você pode usar os seguintes recursos para começar a usar a pesquisa vetorial:
Notebooks e soluções
|
|
|
Guia de início rápido da pesquisa vetorial da Vertex AI:apresenta uma visão geral da pesquisa vetorial. Ele foi projetado para usuários iniciantes na plataforma que querem começar a usar rapidamente. |
Introdução aos embeddings de texto e à pesquisa vetorial:apresenta embeddings de texto e a pesquisa vetorial. Ele explica como essas tecnologias funcionam e como elas podem ser usadas para melhorar os resultados da pesquisa. |
|
|
|
Tutorial de pesquisa híbrida com a pesquisa vetorial da Vertex AI: fornece instruções sobre como usar a pesquisa vetorial para pesquisa híbrida. Ele aborda as etapas envolvidas na configuração de um sistema de pesquisa híbrida. |
Motor de RAG do Gemini com Pesquisa Vetorial: explica o uso do Motor de RAG do Gemini com a Pesquisa Vetorial. Ele discute os benefícios de usar essas duas tecnologias juntas e fornece exemplos de como elas podem ser usadas em aplicativos reais. |
|
|
|
Infraestrutura para um aplicativo de IA generativa com capacidade de RAG usando a Vertex AI e a Vector Search: Descreve a arquitetura para criar um aplicativo de IA generativa e RAG usando a Vector Search, o Cloud Run e o Cloud Storage, cobrindo casos de uso, escolhas de design e principais considerações. |
Treinamento
Introdução ao Vector Search e Embeddings A pesquisa vetorial é usada para encontrar itens semelhantes ou relacionados. Ele pode ser usado para recomendações, pesquisa, chatbots e classificação de texto. O processo envolve criar embeddings, fazer o upload delas para Google Cloude indexá-las para consulta. Este laboratório se concentra em embeddings de texto usando a Vertex AI, mas eles podem ser gerados para outros tipos de dados.
Vector Search e embeddings Este curso apresenta o Vertex AI Vector Search e descreve como ele pode ser usado para criar um aplicativo de pesquisa com APIs de modelo de linguagem grande (LLM) para embeddings. O curso é composto de aulas teóricas sobre pesquisa vetorial e embeddings de texto, demonstrações práticas de como criar pesquisas vetoriais na Vertex AI e um laboratório prático.
Como entender e aplicar embeddings de texto A API Embeddings da Vertex AI gera embeddings de texto, que são representações numéricas de texto usadas para tarefas como identificar itens semelhantes. Neste curso, você vai usar embeddings de texto para tarefas como classificação e pesquisa semântica e combinar a pesquisa semântica com LLMs para criar sistemas de resposta a perguntas usando a Vertex AI.
Curso intensivo de aprendizado de máquina: embeddings Este curso apresenta embeddings de palavras, contrastando-as com representações esparsas. Ele explora métodos para conseguir embeddings e diferencia embeddings estáticos e contextuais.
Produtos relacionados
Incorporações da Vertex AI Fornece uma visão geral da API Embeddings. Casos de uso de embedding de texto e multimodal, além de links para outros recursos e serviços Google Cloud relacionados.
API de classificação do Vertex AI Agent Builder A API de classificação classifica novamente os documentos com base na relevância para uma consulta usando um modelo de linguagem pré-treinado, fornecendo pontuações precisas. É ideal para melhorar os resultados da pesquisa de várias fontes, incluindo a Pesquisa Vetorial.
Vertex AI Feature Store Permite gerenciar e disponibilizar dados de recursos usando o BigQuery como fonte de dados. Ele provisiona recursos para a disponibilização on-line, atuando como uma camada de metadados para disponibilizar os valores de recursos mais recentes diretamente do BigQuery. O Feature Store permite a recuperação instantânea de valores de recursos para os itens que a Vector Store retornou para consultas.
Vertex AI Pipelines O Vertex AI Pipelines permite a automação, o monitoramento e a governança dos seus sistemas de ML de forma serverless, orquestrando fluxos de trabalho de ML com pipelines de ML. É possível executar pipelines de ML definidos usando o Kubeflow Pipelines ou o framework do TensorFlow Extended (TFX) em lotes. Os pipelines permitem criar pipelines automatizados para gerar incorporações, criar e atualizar índices de pesquisa de vetores e formar uma configuração de MLOps para sistemas de pesquisa e recomendação de produção.
Recursos de análise detalhada
Como melhorar seu caso de uso de IA generativa com embeddings e tipos de tarefas da Vertex AI Foca na melhoria de aplicativos de IA generativa usando embeddings e tipos de tarefas da Vertex AI. A pesquisa de vetores pode ser usada com embeddings de tipo de tarefa para melhorar o contexto e a precisão do conteúdo gerado, encontrando informações mais relevantes.
TensorFlow Recommenders Uma biblioteca de código aberto para criar sistemas de recomendação. Ele simplifica o processo de preparação de dados até a implantação e oferece suporte à criação de modelos flexíveis. O TFRS oferece tutoriais e recursos e permite a criação de modelos de recomendação sofisticados.
TensorFlow Ranking O TensorFlow Ranking é uma biblioteca de código aberto para criar modelos neurais de aprendizado para classificação (LTR, na sigla em inglês) escalonáveis. Ele oferece suporte a várias funções de perda e métricas de classificação, com aplicações em pesquisa, recomendação e outros campos. A biblioteca é desenvolvida ativamente pela IA do Google.
Anúncio do ScaNN: uma pesquisa eficiente de similaridade vetorial O ScaNN do Google, um algoritmo para pesquisa eficiente de similaridade vetorial, utiliza uma técnica inovadora para melhorar a precisão e a velocidade na busca de vizinhos mais próximos. Ele supera os métodos atuais e tem amplas aplicações em tarefas de aprendizado de máquina que exigem pesquisa semântica. Os esforços de pesquisa do Google abrangem várias áreas, incluindo o ML básico e os impactos sociais da IA.
SOAR: novos algoritmos para uma Pesquisa Vetorial ainda mais rápida com o ScaNN O algoritmo SOAR do Google melhora a eficiência da Pesquisa Vetorial com a introdução de redundância controlada, permitindo pesquisas mais rápidas com índices menores. O SOAR atribui vetores a vários clusters, criando caminhos de pesquisa "backup" para melhorar o desempenho.
Vídeos relacionados
Começar a usar a pesquisa de vetores com a Vertex AI
A pesquisa vetorial é uma ferramenta poderosa para criar aplicativos com tecnologia de IA. Este vídeo apresenta a tecnologia e oferece um guia passo a passo para começar.
Aprenda a usar a pesquisa híbrida com a pesquisa vetorial
A pesquisa vetorial pode ser usada para pesquisa híbrida, permitindo combinar a potência da pesquisa vetorial com a flexibilidade e a velocidade de um mecanismo de pesquisa convencional. Este vídeo apresenta a pesquisa híbrida e mostra como usar a Pesquisa vetorial para esse tipo de pesquisa.
Você já está usando a Pesquisa Vetorial! Como ser um especialista
Você sabia que provavelmente usa a pesquisa vetorial todos os dias sem perceber? Desde encontrar aquele produto evasivo nas mídias sociais até rastrear uma música que está na sua cabeça, a pesquisa vetorial é a magia da IA por trás dessas experiências cotidianas.
A nova incorporação de "tipo de tarefa" da equipe do DeepMind melhora a qualidade da pesquisa de RAG
Melhore a precisão e a relevância dos seus sistemas de RAG com novas embeddings de tipo de tarefa desenvolvidas pela equipe do Google DeepMind. Assista e aprenda sobre os desafios comuns na qualidade da pesquisa de RAG e como as embeddings de tipo de tarefa podem preencher a lacuna semântica entre perguntas e respostas, levando a uma recuperação mais eficaz e a uma performance aprimorada da RAG.
Terminologia de pesquisa de vetor
Esta lista contém algumas terminologias importantes que você precisa entender para usar a Pesquisa de vetor:
Vetor: um vetor é uma lista de valores flutuantes com magnitude e direção. Ele pode ser usado para representar qualquer tipo de dados, como números, pontos no espaço e direções.
Embedding: um embedding é um tipo de vetor usado para representar dados de uma forma que captura o significado semântico deles. Geralmente, os embeddings são criados com técnicas de machine learning e costumam ser usados no processamento de linguagem natural (PLN) e em outros aplicativos de machine learning.
Embeddings densos: representam o significado semântico do texto, usando matrizes que contêm principalmente valores diferentes de zero. Com embeddings densos, resultados de pesquisa semelhantes podem ser retornados com base na semelhança semântica.
Embeddings esparsos: representam a sintaxe de texto, usando matrizes de alta dimensão que contêm pouquíssimos valores diferentes de zero em comparação a embeddings densos. Os embeddings esparsos são frequentemente usados para pesquisas de palavras-chave.
Pesquisa híbrida: usam embeddings densos e esparsos, permitindo pesquisar com base em uma combinação de pesquisa por palavra-chave e pesquisa semântica. A pesquisa vetorial oferece suporte a pesquisas baseadas em embeddings densos, embeddings esparsos e pesquisa híbrida.
Índice: um conjunto de vetores implantados juntos para a pesquisa por similaridade. Os vetores podem ser adicionados ou removidos de um índice. As consultas de pesquisa por similaridade são emitidas para um índice específico e pesquisam os vetores dele.
Informações empíricas: termo que se refere à verificação da precisão do aprendizado de máquina em relação ao mundo real, como um conjunto de dados de informações empíricas.
Recall: a porcentagem de vizinhos mais próximos retornados pelo índice que são vizinhos mais próximos reais. Por exemplo, se uma consulta de vizinho mais próxima de 20 vizinhos mais próximos retornou 19 dos vizinhos mais próximos, o recall será de 19/20x100 = 95%.
Restringir: recurso que limita as pesquisas a um subconjunto do índice usando regras booleanas. A restrição também é chamada de "filtro". Com a Pesquisa de vetor, você pode usar a filtragem numérica e a filtragem de atributos de texto.