A Vertex AI oferece um conjunto de APIs para ajudar a criar aplicações de geração aumentada por obtenção (RAG) ou um motor de pesquisa. Esta página apresenta essas APIs.
Obtenção e geração
A RAG é uma metodologia que permite que os grandes modelos de linguagem (GMLs) gerem respostas baseadas na origem de dados da sua escolha. Existem duas fases na RAG:
- Obtenção: obter rapidamente os factos mais relevantes pode ser um problema de pesquisa comum. Com a RAG, pode obter rapidamente os factos importantes para gerar uma resposta.
- Geração: os factos obtidos são usados pelo MDI/CE para gerar uma resposta fundamentada.
O Vertex AI oferece opções para ambas as fases de modo a corresponder a uma variedade de necessidades dos programadores.
Obtenção
Escolha o melhor método de obtenção para as suas necessidades:
Vertex AI Search: o Vertex AI Search é um motor de obtenção de informações com a qualidade da Pesquisa Google que pode ser um componente de qualquer aplicação de IA generativa que use os dados da sua empresa. A Pesquisa do Vertex AI funciona como um motor de pesquisa semântico e de palavras-chave pronto a usar para RAG com a capacidade de processar uma variedade de tipos de documentos e com conetores a uma variedade de sistemas de origem, incluindo o BigQuery e muitos sistemas de terceiros.
Para mais informações, consulte o artigo Vertex AI Search.
Crie a sua própria obtenção: se quiser criar a sua pesquisa semântica, pode confiar nas APIs Vertex AI para os componentes do seu sistema RAG personalizado. Este conjunto de APIs oferece implementações de alta qualidade para análise sintática de documentos, geração de incorporações, pesquisa vetorial e classificação semântica. A utilização destas APIs de nível inferior dá-lhe total flexibilidade no design do seu motor de recuperação, ao mesmo tempo que oferece um tempo de comercialização acelerado e alta qualidade, através da utilização de APIs Vertex AI de nível inferior.
Para mais informações, consulte o artigo Crie a sua própria geração aumentada de recuperação.
Usar uma obtenção existente: pode usar a sua pesquisa existente como um motor de obtenção para a geração fundamentada. Também pode usar as APIs Vertex para RAG para atualizar a sua pesquisa existente para uma qualidade superior. Para mais informações, consulte a Vista geral da fundamentação.
Vertex AI RAG Engine: o Vertex AI RAG Engine oferece um tempo de execução totalmente gerido para a orquestração RAG, que permite aos programadores criar RAG para utilização em contextos de produção e prontos para a empresa.
Para mais informações, consulte a vista geral do motor RAG do Vertex AI na documentação da IA generativa no Vertex AI.
Pesquisa Google: quando usa a fundamentação com a Pesquisa Google para o seu modelo Gemini, o Gemini usa a Pesquisa Google e gera resultados fundamentados nos resultados da pesquisa relevantes. Este método de obtenção não requer gestão e permite-lhe aceder ao conhecimento mundial disponível para o Gemini.
Para mais informações, consulte o artigo Fundamentação com a Pesquisa Google na documentação da IA generativa no Vertex AI.
Geração
Escolha o melhor método de geração para as suas necessidades:
Basear-se nos seus dados: gerar respostas bem fundamentadas para a consulta de um utilizador. A API de geração fundamentada usa modelos Gemini especializados e otimizados, e é uma forma eficaz de reduzir as alucinações e fornecer respostas fundamentadas nas suas fontes ou fontes de terceiros, incluindo referências a conteúdo de apoio técnico de fundamentação.
Para mais informações, consulte o artigo Gere respostas fundamentadas com a RAG.
Também pode fundamentar as respostas nos seus dados do Vertex AI Search através da IA generativa no Vertex AI. Para mais informações, consulte o artigo Fundamente as respostas com os seus dados.
Fundamentado com a Pesquisa Google: o Gemini é o modelo mais avançado da Google e oferece fundamentação imediata com a Pesquisa Google. Pode usá-la para criar a sua solução de geração fundamentada totalmente personalizada.
Para mais informações, consulte o artigo Fundamentação com a Pesquisa Google na documentação da IA generativa no Vertex AI.
Model Garden: se quiser controlo total e o modelo da sua escolha, pode usar qualquer um dos modelos no Vertex AI Model Garden para geração.
Crie a sua própria geração aumentada de recuperação
O desenvolvimento de um sistema RAG personalizado para fundamentação oferece flexibilidade e controlo em cada passo do processo. A Vertex AI oferece um conjunto de APIs para ajudar a criar as suas próprias soluções de pesquisa. A utilização dessas APIs oferece-lhe total flexibilidade no design da sua aplicação RAG, ao mesmo tempo que oferece um tempo de comercialização acelerado e alta qualidade, baseando-se nestas APIs Vertex AI de nível inferior.
O analisador de esquemas do Document AI. O analisador de esquemas da Document AI transforma documentos em vários formatos em representações estruturadas, tornando o conteúdo, como parágrafos, tabelas, listas e elementos estruturais, como cabeçalhos, cabeçalhos de página e rodapés, acessível, e criando blocos sensíveis ao contexto que facilitam a obtenção de informações numa variedade de apps de IA generativa e de descoberta.
Para mais informações, consulte o analisador de esquemas da IA Documental na documentação da IA Documental.
API Embeddings: as APIs Vertex AI embeddings permitem-lhe criar incorporações para texto ou entradas multimodais. As incorporações são vetores de números de vírgula flutuante concebidos para captar o significado da respetiva entrada. Pode usar as incorporações para ativar a pesquisa semântica através da pesquisa de vetores.
Para mais informações, consulte os artigos Incorporações de texto e Incorporações multimodais na documentação da IA generativa na Vertex AI.
Pesquisa vetorial. O motor de obtenção é uma parte fundamental da sua aplicação de pesquisa ou RAG. A pesquisa vetorial da Vertex AI é um motor de obtenção que pode pesquisar entre milhares de milhões de itens semanticamente semelhantes ou semanticamente relacionados em grande escala, com um elevado número de consultas por segundo (QPS), uma elevada capacidade de memorização, uma baixa latência e rentabilidade. Pode pesquisar em incorporações densas e suporta a pesquisa de palavras-chave de incorporação esparsa e a pesquisa híbrida na pré-visualização pública.
Para mais informações, consulte: Vista geral da pesquisa vetorial da Vertex AI na documentação da Vertex AI.
A API Ranking. A API Ranking recebe uma lista de documentos e reclassifica-os com base na relevância dos documentos para uma determinada consulta. Em comparação com as incorporações que analisam puramente a semelhança semântica de um documento e uma consulta, a API Ranking pode fornecer uma pontuação mais precisa sobre a forma como um documento responde a uma determinada consulta.
Para mais informações, consulte o artigo Melhore a qualidade da pesquisa e da RAG com a API Ranking.
A API de geração fundamentada. Use a API de geração fundamentada para gerar respostas bem fundamentadas ao comando de um utilizador. As origens de fundamentação podem ser os seus arquivos de dados do Vertex AI Search, dados personalizados que fornece ou a Pesquisa Google.
Para mais informações, consulte o artigo Gere respostas fundamentadas.
A API de conteúdo gerado. Use a API generate content para gerar respostas bem fundamentadas a um comando do utilizador. As origens de fundamentação podem ser os seus arquivos de dados do Vertex AI Search ou a Pesquisa Google.
Para mais informações, consulte os artigos Fundamente com a Pesquisa Google ou Fundamente com os seus dados.
A API de fundamentação de verificação. A API check grounding determina o grau de fundamentação de um determinado fragmento de texto num determinado conjunto de textos de referência. A API pode gerar citações de apoio a partir do texto de referência para indicar onde o texto fornecido é suportado pelos textos de referência. Entre outras coisas, a API pode ser usada para avaliar a fundamentação das respostas de sistemas RAG. Além disso, como uma funcionalidade experimental, a API também gera citações contraditórias que mostram onde o texto fornecido e os textos de referência discordam.
Para mais informações, consulte o artigo Verifique a fundamentação.
Fluxo de trabalho: gere respostas fundamentadas a partir de dados não estruturados
Segue-se um fluxo de trabalho que descreve como integrar as APIs RAG do Vertex AI para gerar respostas fundamentadas a partir de dados não estruturados.
- Importe os seus documentos não estruturados, como ficheiros PDF, ficheiros HTML ou imagens com texto, para uma localização do Cloud Storage.
- Processe os documentos importados através do analisador de esquemas. O analisador de esquemas divide os documentos não estruturados em partes e transforma o conteúdo não estruturado na respetiva representação estruturada. O analisador de esquemas também extrai anotações dos fragmentos.
- Crie incorporações de texto para blocos através da API Vertex AI Text Embeddings.
- Indexe e obtenha as incorporações de fragmentos através da pesquisa vetorial.
- Classifique os fragmentos através da API Ranking e determine os fragmentos com a classificação mais elevada.
- Gere respostas fundamentadas com base nos fragmentos com classificação mais elevada através da API de geração fundamentada ou através da API de geração de conteúdo.
Se gerou as respostas com um modelo de geração de respostas diferente dos modelos Google, pode verificar a fundamentação destas respostas através do método de verificação da fundamentação.