A pesquisa vetorial é um motor de pesquisa vetorial poderoso criado com base na tecnologia inovadora desenvolvida pela Google Research. Ao tirar partido do algoritmo ScaNN, a pesquisa vetorial permite-lhe criar sistemas de pesquisa e recomendação de nova geração, bem como aplicações de IA generativa.
Pode beneficiar da mesma investigação e tecnologia que impulsionam os produtos Google principais, incluindo a Pesquisa Google, o YouTube e o Google Play. Isto significa que tem a escalabilidade, a disponibilidade e o desempenho que são confiáveis para processar conjuntos de dados enormes e oferecer resultados ultrarrápidos à escala global. Com a pesquisa vetorial, tem uma solução de nível empresarial para implementar capacidades de pesquisa semântica de vanguarda nas suas próprias aplicações.
|
|
Infinite Fleurs: descubra a criatividade assistida pela IA em plena floração |
|
Começar
Demonstração interativa da pesquisa vetorial: Consulte a demonstração em direto para ver um exemplo realista do que a tecnologia de pesquisa vetorial pode fazer e comece já a usar a pesquisa vetorial.
Início rápido da pesquisa vetorial: experimente a pesquisa vetorial em 30 minutos criando, implementando e consultando um índice de pesquisa vetorial com um conjunto de dados de exemplo. Este tutorial aborda a configuração, a preparação de dados, a criação de índices, a implementação, as consultas e a limpeza.
Antes de começar: prepare as incorporações escolhendo e preparando um modelo, e preparando os seus dados. Em seguida, escolha um ponto final público ou privado para implementar o índice de consultas.
Preços da pesquisa vetorial e calculadora de preços: Os preços da pesquisa vetorial incluem o custo das máquinas virtuais usadas para alojar os índices implementados, bem como as despesas de criação e atualização de índices. Mesmo uma configuração mínima (inferior a 100 USD por mês) pode acomodar um elevado débito para exemplos de utilização de tamanho moderado. Para estimar os seus custos mensais:
- Aceda à calculadora de preços do Google Cloud.
- Clique em Adicionar à estimativa.
- Pesquise Vertex AI.
- Clique no botão Vertex AI.
- Escolha Vertex AI Vector Search no menu pendente Tipo de serviço.
- Mantenha as predefinições ou configure as suas. O custo estimado por mês é apresentado no painel Detalhes do custo.
Documentação
Faça a gestão de índices e pontos finais
Tópicos avançados
Exemplos de utilização e blogs
A tecnologia de pesquisa vetorial está a tornar-se um centro fundamental para as empresas que usam IA. Tal como as bases de dados relacionais funcionam nos sistemas de TI, liga vários elementos empresariais, como documentos, conteúdo, produtos, utilizadores, eventos e outras entidades, com base na respetiva relevância. Além de pesquisar meios convencionais, como documentos e imagens, a pesquisa vetorial também pode gerar recomendações inteligentes, associar problemas empresariais a soluções e até associar sinais de IoT a alertas de monitorização. É uma ferramenta versátil essencial para navegar no panorama crescente dos dados empresariais com tecnologia de IA.
|
Pesquisa / obtenção de informações
Sistemas |
Como a pesquisa vetorial da Vertex AI ajuda a desbloquear apps de IA gen de alto desempenho: A pesquisa vetorial alimenta diversas aplicações, incluindo comércio eletrónico, sistemas RAG e motores de recomendações, juntamente com chatbots, pesquisa multimodal e muito mais. A pesquisa híbrida melhora ainda mais os resultados para termos específicos. Os clientes, como a Bloomreach, o eBay e o Mercado Libre, usam a Vertex AI pelo respetivo desempenho, escalabilidade e rentabilidade, alcançando vantagens como uma pesquisa mais rápida e um aumento das conversões. O eBay usa a pesquisa vetorial para recomendações: realça como o eBay usa a pesquisa vetorial para o respetivo sistema de recomendações. Esta tecnologia permite que o eBay encontre produtos semelhantes no seu extenso catálogo, melhorando a experiência do utilizador. A Mercari tira partido da tecnologia de pesquisa vetorial da Google para criar um novo mercado: explica como a Mercari usa a pesquisa vetorial para melhorar a sua nova plataforma de mercado. A pesquisa vetorial alimenta as recomendações da plataforma, ajudando os utilizadores a encontrar produtos relevantes de forma mais eficaz. Incorporações do Vertex AI para texto: fundamentar os MDIs/CEs de forma simples: foca-se na fundamentação dos MDIs/CEs através das incorporações do Vertex AI para dados de texto. A pesquisa vetorial desempenha um papel importante na localização de passagens de texto relevantes que garantem que as respostas do modelo se baseiam em informações factuais. O que é a pesquisa multimodal: "GMLs com visão" mudam as empresas: Aborda a pesquisa multimodal, que combina GMLs com compreensão visual. Explica como a pesquisa vetorial processa e compara dados de texto e de imagem, o que permite experiências de pesquisa mais abrangentes. Desbloqueie a pesquisa multimodal à escala: combine o poder do texto e das imagens com o Vertex AI: Descreve a criação de um motor de pesquisa multimodal com o Vertex AI que combina a pesquisa de texto e imagens através de um método de conjunto de classificação recíproca ponderada. Isto melhora a experiência do utilizador e oferece resultados mais relevantes. Dimensionar a obtenção detalhada com o TensorFlow Recommenders e a pesquisa vetorial: explica como criar um sistema de recomendações de playlists com o TensorFlow Recommenders e a pesquisa vetorial, abordando modelos de obtenção detalhada, preparação, implementação e dimensionamento. |
|
IA gen: obtenção para RAG e agentes |
A Vertex AI e a Denodo desbloqueiam dados empresariais com a IA gen: mostra como a integração da Vertex AI com a Denodo permite que as empresas usem a IA generativa para obter estatísticas a partir dos respetivos dados. A pesquisa vetorial é fundamental para aceder e analisar de forma eficiente dados relevantes num ambiente empresarial. Natureza infinita e a natureza das indústrias: esta demonstração "selvagem" mostra as diversas possibilidades da IA: Apresenta uma demonstração que ilustra o potencial da IA em diferentes indústrias. Utiliza a pesquisa vetorial para gerar recomendações e a pesquisa semântica multimodal. Infinite Fleurs: descubra a criatividade assistida pela IA em plena floração: O Infinite Fleurs da Google, uma experiência de IA que usa a pesquisa vetorial, os modelos Gemini e Imagen, gera ramos de flores únicos com base em comandos do utilizador. Esta tecnologia demonstra o potencial da IA para inspirar a criatividade em vários setores. LlamaIndex para RAG no Google Cloud: descreve como usar o LlamaIndex para facilitar a geração aumentada de recuperação (RAG) com grandes modelos de linguagem. O LlamaIndex usa a pesquisa vetorial para obter informações relevantes de uma base de conhecimentos, o que resulta em respostas mais precisas e contextualmente adequadas. RAG e fundamentação no Vertex AI: examina as técnicas de RAG e fundamentação no Vertex AI. A pesquisa vetorial ajuda a identificar informações de fundamentação relevantes durante a obtenção, o que torna o conteúdo gerado mais preciso e fiável. Pesquisa vetorial no LangChain: fornece um guia para usar a pesquisa vetorial com o LangChain para criar e implementar um índice de base de dados vetorial para dados de texto, incluindo respostas a perguntas e processamento de PDFs. |
|
BI, estatísticas de dados, monitorização e muito mais |
Ativar a IA em tempo real com a carregamento de streaming no Vertex AI: explora a atualização de streaming na pesquisa vetorial e como fornece capacidades de IA em tempo real. Esta tecnologia permite o processamento e a análise em tempo real de streams de dados recebidas. |
Recursos relacionados
Pode usar os seguintes recursos para começar a usar a pesquisa vetorial:
Portáteis e soluções
|
|
|
Início rápido da pesquisa vetorial do Vertex AI: oferece uma vista geral da pesquisa vetorial. Foi concebido para utilizadores que estão a usar a plataforma pela primeira vez e querem começar rapidamente. |
Introdução às incorporações de texto e à pesquisa vetorial: apresenta as incorporações de texto e a pesquisa vetorial. Explica como estas tecnologias funcionam e como podem ser usadas para melhorar os resultados da pesquisa. |
|
|
|
Combinar a pesquisa semântica e por palavras-chave: um tutorial de pesquisa híbrida com a Vertex AI Pesquisa vetorial: Fornece instruções sobre como usar a pesquisa vetorial para a pesquisa híbrida. Abrange os passos envolvidos na configuração de um sistema de pesquisa híbrido. |
Vertex AI RAG Engine com pesquisa vetorial: explora a utilização do Vertex AI RAG Engine com pesquisa vetorial. Aborda as vantagens da utilização destas duas tecnologias em conjunto e apresenta exemplos de como podem ser usadas em aplicações do mundo real. |
|
|
|
Infraestrutura para uma aplicação de IA generativa com capacidade de RAG através da Vertex AI e da pesquisa vetorial: detalha a arquitetura para criar uma aplicação de IA generativa e RAG através da pesquisa vetorial, do Cloud Run e do Cloud Storage, abordando exemplos de utilização, opções de design e considerações importantes. |
<p"> Implemente a obtenção de duas torres para a geração de candidatos em grande escala: fornece uma arquitetura de referência que mostra como implementar um fluxo de trabalho de geração de candidatos de duas torres ponto a ponto com a Vertex AI. A estrutura de modelagem de duas torres é uma técnica de obtenção poderosa para exemplos de utilização de personalização, porque aprende a semelhança semântica entre duas entidades diferentes, como consultas Web e itens candidatos. </p"> |
Formação
Introdução à pesquisa vetorial e às incorporações A pesquisa vetorial é usada para encontrar itens semelhantes ou relacionados. Pode ser usado para recomendações, pesquisa, chatbots e classificação de texto. O processo envolve a criação de incorporações, o carregamento das mesmas para o Google Cloude a indexação para consulta. Este laboratório centra-se nas incorporações de texto com a Vertex AI, mas é possível gerar incorporações para outros tipos de dados.
Pesquisa vetorial e incorporações Este curso apresenta a pesquisa vetorial e descreve como pode ser usada para criar uma aplicação de pesquisa com APIs de modelos de linguagem (conteúdo extenso) (MDLs/CE) para incorporações. O curso consiste em aulas conceptuais sobre a pesquisa vetorial e as incorporações de texto, demonstrações práticas sobre como criar uma pesquisa vetorial no Vertex AI e um laboratório de prática.
Compreender e aplicar incorporações de texto
A API Vertex AI Embeddings gera incorporações de texto, que são
representações numéricas de texto usadas para tarefas como a identificação de itens semelhantes.
Neste curso, vai usar incorporações de texto para tarefas como classificação e pesquisa semântica, e combinar a pesquisa semântica com GMLs para criar sistemas de resposta a perguntas usando o Vertex AI.
Machine Learning Crash Course: incorporações Este curso apresenta as incorporações de palavras, contrastando-as com representações esparsas. Explora métodos para obter incorporações e diferencia as incorporações estáticas das incorporações contextuais.
Produtos relacionados
Incorporações do Vertex AI Fornece uma vista geral da API Embeddings. Exemplos de utilização de incorporação de texto e multimodal, juntamente com links para recursos adicionais e Google Cloud serviços relacionados.
API AI Applications ranking A API ranking reclassifica os documentos com base na relevância para uma consulta através de um modelo de linguagem pré-formado, fornecendo pontuações precisas. É ideal para melhorar os resultados da pesquisa de várias origens, incluindo a pesquisa vetorial.
Vertex AI Feature Store Permite-lhe gerir e publicar dados de caraterísticas através do BigQuery como origem de dados. Aprovisiona recursos para o serviço online, atuando como uma camada de metadados para fornecer os valores das funcionalidades mais recentes diretamente do BigQuery. A Feature Store permite a obtenção instantânea de valores de caraterísticas para os itens devolvidos pela Vector Store para consultas.
Vertex AI Pipelines O Vertex AI Pipelines permite a automatização, a monitorização e a gestão dos seus sistemas de ML de forma sem servidor, orquestrando fluxos de trabalho de ML com pipelines de ML. Pode executar pipelines de ML definidos através de pipelines Kubeflow ou da framework TensorFlow Extended (TFX) em lotes. Os pipelines permitem criar pipelines automatizados para gerar incorporações, criar e atualizar índices de pesquisa vetorial e formar uma configuração de MLOps para sistemas de pesquisa e recomendação de produção.
Recursos de análise detalhada
Melhorar o seu exemplo de utilização de IA gen com incorporações e tipos de tarefas da Vertex AI Centra-se na melhoria das aplicações de IA generativa através das incorporações e dos tipos de tarefas da Vertex AI. A pesquisa vetorial pode ser usada com incorporações do tipo de tarefa para melhorar o contexto e a precisão do conteúdo gerado, encontrando informações mais relevantes.
TensorFlow Recommenders Uma biblioteca de código aberto para criar sistemas de recomendações. Simplifica o processo desde a preparação dos dados à implementação e suporta a criação de modelos flexíveis. O TFRS oferece tutoriais e recursos, e permite a criação de modelos de recomendações sofisticados.
TensorFlow Ranking O TensorFlow Ranking é uma biblioteca de código aberto para criar modelos de aprendizagem para classificação (LTR) neurais escaláveis. Suporta várias funções de perda e métricas de classificação, com aplicações na pesquisa, recomendação e outros campos. A biblioteca é desenvolvida ativamente pela IA da Google.
Anunciamos o ScaNN: pesquisa eficiente de similaridade de vetores O ScaNN da Google, um algoritmo para pesquisa eficiente de similaridade de vetores, usa uma nova técnica para melhorar a precisão e a velocidade na procura de vizinhos mais próximos. Tem um desempenho superior aos métodos existentes e tem amplas aplicações em tarefas de aprendizagem automática que requerem pesquisa semântica. Os esforços de investigação da Google abrangem várias áreas, incluindo a aprendizagem automática fundamental e os impactos sociais da IA.
SOAR: novos algoritmos para uma pesquisa vetorial ainda mais rápida com o ScaNN O algoritmo SOAR da Google melhora a eficiência da pesquisa vetorial através da introdução de redundância controlada, o que permite pesquisas mais rápidas com índices mais pequenos. A SOAR atribui vetores a vários clusters, criando caminhos de pesquisa "alternativos" para um desempenho melhorado.
Vídeos relacionados
Comece a usar a pesquisa vetorial com o Vertex AI
A pesquisa vetorial é uma ferramenta poderosa para criar aplicações baseadas em IA. Este vídeo apresenta a tecnologia e disponibiliza um guia passo a passo para começar.
Aprenda a usar a pesquisa híbrida com a Vector Search
A pesquisa vetorial pode ser usada para a pesquisa híbrida, o que lhe permite combinar o poder da pesquisa vetorial com a flexibilidade e a velocidade de um motor de pesquisa convencional. Este vídeo apresenta a pesquisa híbrida e mostra como usar a pesquisa vetorial para a pesquisa híbrida.
Já está a usar a pesquisa vetorial! Como ser um especialista
Sabia que provavelmente usa a pesquisa vetorial todos os dias sem se aperceber disso? Desde encontrar aquele produto indescritível nas redes sociais até descobrir uma música que não lhe sai da cabeça, a pesquisa vetorial é a magia da IA por detrás destas experiências do dia a dia.
A nova incorporação de "tipo de tarefa" da equipa do DeepMind melhora a qualidade da pesquisa RAG
Melhore a precisão e a relevância dos seus sistemas RAG com novas incorporações de tipo de tarefa desenvolvidas pela equipa do Google DeepMind. Veja e saiba mais sobre os desafios comuns na qualidade da pesquisa RAG e como as incorporações do tipo de tarefa podem colmatar eficazmente a lacuna semântica entre perguntas e respostas, o que leva a uma obtenção mais eficaz e a um desempenho RAG melhorado.
Terminologia do Vector Search
Esta lista contém alguma terminologia importante que tem de compreender para usar a pesquisa vetorial:
Vetor: um vetor é uma lista de valores flutuantes com magnitude e direção. Pode ser usado para representar qualquer tipo de dados, como números, pontos no espaço e direções.
Incorporação: uma incorporação é um tipo de vetor usado para representar dados de uma forma que capta o respetivo significado semântico. Normalmente, as incorporações são criadas através de técnicas de aprendizagem automática e são frequentemente usadas no processamento de linguagem natural (PLN) e noutras aplicações de aprendizagem automática.
Incorporações densas: as incorporações densas representam o significado semântico do texto, usando matrizes que contêm principalmente valores diferentes de zero. Com as incorporações densas, podem ser devolvidos resultados da pesquisa semelhantes com base na similaridade semântica.
Incorporações esparsas: as incorporações esparsas representam a sintaxe de texto, usando matrizes de alta dimensão que contêm muito poucos valores diferentes de zero em comparação com as incorporações densas. As incorporações esparsas são frequentemente usadas para pesquisas de palavras-chave.
Pesquisa híbrida: a pesquisa híbrida usa incorporações densas e esparsas, o que permite pesquisar com base numa combinação de pesquisa de palavras-chave e pesquisa semântica. A Vector Search suporta a pesquisa baseada em incorporações densas, incorporações esparsas e pesquisa híbrida.
Índice: uma coleção de vetores implementados em conjunto para a pesquisa de semelhanças. Os vetores podem ser adicionados ou removidos de um índice. As consultas de pesquisa por semelhança são emitidas para um índice específico e pesquisam os vetores nesse índice.
Dados reais: um termo que se refere à validação da precisão da aprendizagem automática em relação ao mundo real, como um conjunto de dados reais.
Recall: a percentagem de vizinhos mais próximos devolvidos pelo índice que são, na verdade, vizinhos mais próximos verdadeiros. Por exemplo, se uma consulta de vizinho mais próximo para 20 vizinhos mais próximos devolveu 19 dos vizinhos mais próximos da verdade fundamental, a revocação é de 19/20 x 100 = 95%.
Restringir: funcionalidade que limita as pesquisas a um subconjunto do índice através de regras booleanas. A restrição também é denominada "filtragem". Com a pesquisa vetorial, pode usar a filtragem numérica e a filtragem de atributos de texto.