Modelos de linguagem grandes (LLMs) são poderosos na resolução de muitos tipos de problemas. No entanto, eles são limitados pelas seguintes limitações:
- Eles são congelados após o treinamento, levando a um conhecimento desatualizado.
- Eles não podem consultar nem modificar dados externos.
As extensões e a Vertex AI (pré-lançamento) podem resolver essas deficiências. As extensões são conexões com APIs externas que processam dados em tempo real e realizam ações reais. O serviço de extensão da Vertex AI registra, gerencia e executa essas extensões e pode ser vinculado a um aplicativo que processa consultas do usuário e se comunica com um LLM.
Sempre que um aplicativo recebe uma consulta de um usuário, ele fornece ao LLM um conjunto de extensões e as operações que elas podem realizar. Se o modelo determinar que precisa delegar o processamento de consulta a uma extensão, ele fornecerá ao aplicativo uma chamada de extensão solicitada e os valores de parâmetro associados. O aplicativo redireciona essa solicitação para o serviço de extensão, que a executa. O processo é concluído quando o serviço de extensão envia o resultado dessa operação ao aplicativo, que o redireciona de volta ao modelo.
A Vertex AI para Pesquisa permite criar, implantar e gerenciar extensões que conectam LLMs às APIs de sistemas externos. Esses sistemas podem fornecer dados em tempo real aos LLMs e realizar ações de processamento de dados em nome deles.
Para saber mais sobre os casos de uso e os benefícios das extensões e do serviço de extensão da Vertex AI, consulte Casos de uso e benefícios.
Para saber como registrar, gerenciar e executar extensões com o serviço de extensões da Vertex AI, consulte Registrar, gerenciar e executar extensões.
Casos de uso e benefícios
Veja a seguir alguns casos de uso de extensões possíveis:
- Gerar e executar código.
- Consultar sites e sintetizar informações.
- Responda a perguntas com base nas informações de uma coleção de dados específicos da empresa.
- Consultar e analisar repositórios de dados.
O serviço de extensões da Vertex AI oferece os seguintes benefícios:
- Controles empresariais: permissões do Identity and Access Management (IAM) e controles de segurança.
- Segurança dos dados: acordos contratuais de que seus dados particulares não serão vazados nem usados no treinamento do modelo
- Contratos de desempenho: acordos contratuais que estabelecem recursos e tempos de atividade específicos pela plataforma.
- Extensões particulares: os usuários autorizados na sua organização ou um parceiro confiável podem usar extensões para acessar dados e ações internas confidenciais, como pesquisar bases de conhecimento internas ou concluir ações de RH.
- Integrações de produtos do Google: integração com produtos do Google, como Vertex AI para Pesquisa, BigQuery e modelos especializados.
A seguir
- Criar, registrar e executar extensões.
- Registrar e usar extensões fornecidas pelo Google
- Usar o Reasoning Engine.