O LangChain na Vertex Generative AI (pré-lançamento) permite usar a biblioteca de código aberto LangChain para criar aplicativos personalizados de IA generativa e usar a Vertex Generative AI para modelos, ferramentas e implantação. Com o LangChain na Vertex Generative AI (pré-lançamento), é possível fazer o seguinte:
- Selecione o modelo de linguagem grande (LLM) com que você quer trabalhar.
- Definir as ferramentas para acessar APIs externas.
- Estruture a interface entre o usuário e os componentes do sistema em um framework de orquestração.
- Implantar o framework em um ambiente de execução gerenciado.
Componentes do sistema
Criar e implantar um aplicativo de IA generativa personalizado usando o OSS LangChain e a Vertex Generative AI consiste em quatro componentes:
| Componente | Descrição |
|---|---|
| LLM |
Quando você envia uma consulta para seu aplicativo personalizado, o LLM a processa e fornece uma resposta. É possível definir um conjunto de ferramentas que se comuniquem com APIs externas e fornecê-las ao modelo. Ao processar uma consulta, o modelo delega algumas tarefas às ferramentas. Isso implica uma ou mais chamadas de modelo para modelos de fundação ou ajustados. Para saber mais, consulte Versões e ciclo de vida do modelo. |
| Ferramenta |
É possível definir um conjunto de ferramentas que se comunica com APIs externas (por exemplo, um banco de dados) e fornecê-las ao modelo. Ao processar uma consulta, o modelo pode delegar algumas tarefas às ferramentas. A implantação pelo ambiente de execução gerenciado da Vertex Generative AI é otimizada para usar ferramentas baseadas na chamada de função do Gemini, mas oferece suporte à ferramenta LangChain/chamada de função. Para saber mais sobre como chamar uma função, consulte Chamada de função. |
| Framework de orquestração |
O LangChain na Vertex Generative AI permite que você aproveite o framework de orquestração do LangChain na Vertex Generative AI. Usar o LangChain para decidir o nível de determinismo do seu aplicativo. Se você já usa o LangChain, pode utilizar seu código existente do LangChain para implantar seu aplicativo na Vertex Generative AI. Caso contrário, é possível criar seu próprio código de aplicativo e estruturá-lo em um framework de orquestração que usa os modelos LangChain da Vertex Generative AI. Para saber mais, consulte Desenvolver um aplicativo. |
| Ambiente de execução gerenciado | O LangChain na Vertex AI permite implantar o aplicativo em um ambiente de execução gerenciado do Reasoning Engine. Esse ambiente de execução é um serviço da Vertex AI que tem todos os benefícios da integração da Vertex AI: segurança, privacidade, observabilidade e escalonabilidade. Você pode colocar o aplicativo em produção e escalonar o aplicativo com uma simples chamada de API, transformando rapidamente protótipos testados localmente em implantações prontas para a empresa. Para saber mais, consulte Implantar o aplicativo. |
Há muitas maneiras diferentes de prototipar e criar aplicativos personalizados de IA generativa que aproveitam os recursos agentes, criando camadas para ferramentas, funções personalizadas e complementando modelos como o Gemini. Quando for a hora de mover o aplicativo para a produção, considere como implantar e gerenciar seu agente e todos os componentes subjacentes.
Com os componentes do LangChain na Vertex Generative AI, o objetivo é ajudar você a se concentrar e personalizar os aspectos da funcionalidade do agente que mais importam, como funções personalizadas, comportamento do agente e parâmetros do modelo. enquanto o Google cuida da implantação, do empacotamento de escalonamento, das versões etc. Se você trabalha em um nível inferior na pilha, talvez precise gerenciar mais do que quer. Se você trabalha em um nível superior na pilha, talvez não tenha tanto controle do desenvolvedor quanto gostaria.
Fluxo do sistema no ambiente de execução
Quando o usuário faz uma consulta, ela é formatada pelo agente em um comando para o LLM. O LLM processa o comando e determina se quer usar alguma das ferramentas.
Se o LLM optar por usar uma ferramenta, ele gera um FunctionCall com o nome
e os parâmetros com que a ferramenta precisa ser chamada. O agente invoca a ferramenta
com o FunctionCall e fornece os resultados da ferramenta de volta ao LLM.
Se o LLM optar por não usar nenhuma ferramenta, ele vai gerar um conteúdo que será
transmitido pelo agente de volta ao usuário.
O diagrama a seguir ilustra o fluxo do sistema no ambiente de execução:
Criar e implantar um aplicativo de IA generativa
O fluxo de trabalho para criar aplicativos de IA generativa é:
| Etapas | Descrição |
|---|---|
| 1: configurar o ambiente | Configure o projeto do Google e instale a versão mais recente do SDK da Vertex AI para Python. |
| 2: desenvolver um aplicativo | Desenvolver um aplicativo LangChain que possa ser implantado no Reasoning Engine. |
| 3. Implante o aplicativo | Implantar o aplicativo no Reasoning Engine. |
| 4. usar o aplicativo | Mecanismo de raciocínio de consulta para uma resposta. |
| 5. gerenciar o aplicativo implantado | Gerencie e exclua os aplicativos que você implantou no Reasoning Engine. |
| 6. (Opcional) Personalizar um modelo de aplicativo | Personalize um modelo para novos aplicativos. |
As etapas estão ilustradas no diagrama a seguir:
Benefícios
- Personalizável: usando as interfaces padronizadas do LangChain, o LangChain na Vertex AI pode ser adotado para criar diferentes tipos de aplicativos. É possível personalizar a lógica do aplicativo e incorporar qualquer framework, oferecendo um alto grau de flexibilidade.
- Simplifica a implantação: o LangChain na Vertex AI usa as mesmas APIs que o LangChain para interagir com LLMs e criar aplicativos. O LangChain na Vertex AI simplifica e acelera a implantação com LLMs da Vertex AI, já que o ambiente de execução do Reasoning Engine dá suporte à implantação de clique único para gerar uma API compatível com base na sua biblioteca.
- Integração com ecossistemas da Vertex AI: o Reasoning Engine para LangChain na Vertex AI usa a infraestrutura e os contêineres pré-criados da Vertex AI para ajudar na implantação do aplicativo LLM. É possível usar a API Vertex AI para integração com modelos do Gemini, chamadas de função e extensões.
- Seguro, particular e escalonável: é possível usar uma única chamada do SDK em vez de gerenciar o processo de desenvolvimento por conta própria. O ambiente de execução gerenciado do Reasoning Engine libera você de tarefas como desenvolvimento do servidor de aplicativos, criação de contêineres e configuração de autenticação, IAM e escalonamento. A Vertex AI lida com vulnerabilidades de contêiner, escalonamento automático e expansão regional.
Casos de uso
É possível usar o LangChain na Vertex AI para as seguintes tarefas:
- Extrair entidades de histórias com linguagem natural: extraia listas de personagens, relacionamentos, coisas e lugares de uma história.
Notebook do SDK da Vertex AI para Python - Extração de dados estruturados usando chamada de função - Consultar e entender bancos de dados SQL usando linguagem natural: peça ao modelo para converter perguntas como
What percentage of orders are returned?em consultas SQL e criar funções que enviam essas consultas ao BigQuery.
Postagem do blog - Como criar um aplicativo de análise detalhada de dados do BigQuery com tecnologia de IA usando chamada de função no Gemini - Ajudar clientes a interagir com empresas: crie funções que se conectem à API de uma empresa, permitindo que o modelo forneça respostas precisas para consultas como
Do you have the Pixel 8 Pro in stock?ouIs there a store in Mountain View, CA that I can visit to try it out?
Notebook do SDK da Vertex AI para Python - Chamada de função com a API Gemini e o SDK para Python da Vertex AI - Crie aplicativos de IA generativa conectando-se a APIs públicas, como:
- Converter moedas: crie uma função que se conecte a um aplicativo de câmbio, permitindo que o modelo forneça respostas precisas a consultas como
What's the exchange rate for euros to dollars today?
Codelab - Como interagir com APIs usando chamada de função no Gemini - Ver a previsão do tempo de um determinado local: crie uma função que se conecte a uma API de um serviço meteorológico, permitindo que o modelo dê respostas precisas a consultas como
What's the weather like in Paris?
Notebook do SDK da Vertex AI para Python - Chamada de função com a API Gemini e o SDK para Python da Vertex AI
Postagem do blog - Chamada de função: um framework nativo para conectar o Gemini a sistemas externos, dados e APIs - Converter um endereço em coordenadas de latitude e longitude: crie uma função que converta dados de local estruturados em coordenadas de latitude e longitude. Peça ao modelo para identificar o endereço, a cidade, o estado e o CEP em consultas como
I want to get the lat/lon coordinates for the following address: 1600 Amphitheatre Pkwy, Mountain View, CA 94043, US.
Notebook do SDK da Vertex AI para Python - Chamada de função com a API Gemini e o SDK para Python da Vertex AI
- Converter moedas: crie uma função que se conecte a um aplicativo de câmbio, permitindo que o modelo forneça respostas precisas a consultas como
- Interpretar comandos de voz: crie funções que correspondam a tarefas no veículo. Por exemplo, crie funções que liguem o rádio ou ativem o ar-condicionado. Envie arquivos de áudio com os comandos de voz do usuário ao modelo e peça que ele converta o áudio em texto e identifique a função que o usuário quer chamar.
- Automatizar fluxos de trabalho com base em gatilhos ambientais: crie funções para representar processos que podem ser automatizados. Forneça dados de sensores ambientais ao modelo e peça que ele analise e processe os dados para determinar se um ou mais fluxos de trabalho precisam ser ativados. Por exemplo, um modelo pode processar dados de temperatura em um armazém e ativar uma função de sprinkler.
- Automatizar a atribuição de tíquetes de suporte: forneça ao modelo tíquetes de suporte, registros e regras baseadas no contexto. Peça ao modelo para processar todas essas informações e determinar a quem o tíquete será atribuído. Chame uma função para atribuir o tíquete à pessoa sugerida pelo modelo.
- Recuperar informações de uma base de conhecimento: crie funções que recuperem e resumam artigos acadêmicos sobre um determinado assunto. Habilite o modelo a responder perguntas sobre matérias acadêmicas e fornecer citações das respectivas respostas.