Descripción general

Los modelos grandes de lenguaje (LLM) son potentes para resolver muchos tipos de problemas. Sin embargo, tienen las siguientes limitaciones:

  • Se congelan después del entrenamiento, lo que lleva a un conocimiento inactivo.
  • No pueden consultar ni modificar datos externos.

Las extensiones y Vertex AI (vista previa) pueden abordar estas deficiencias. Las extensiones son conexiones a API externas que procesan datos en tiempo real y realizan acciones reales. El servicio de extensión de Vertex AI registra, administra y ejecuta estas extensiones y se puede vincular a una aplicación que procesa consultas de los usuarios y se comunica con un LLM.

Cada vez que una aplicación recibe una consulta de usuario, le proporciona al LLM un conjunto de extensiones y las operaciones que pueden realizar las extensiones. Si el modelo determina que debe delegar el procesamiento de consultas a una extensión, le proporcionará a la aplicación una llamada de extensión solicitada y los valores de los parámetros asociados. La aplicación retransmite esta solicitud al servicio de extensión, que luego ejecuta la extensión. El proceso se completa cuando el servicio de extensión envía el resultado de esta operación a la aplicación, que luego lo retransmite al modelo.

Con Vertex AI Search, puedes crear, implementar y administrar extensiones que conectan los LLM a las APIs de sistemas externos. Estos sistemas pueden proporcionar datos a los LLM en tiempo real y realizar acciones de procesamiento de datos en su nombre.

Para obtener más información sobre los casos de uso y los beneficios de las extensiones y el servicio de extensión de Vertex AI, consulta Casos de uso y beneficios.

Para obtener información sobre cómo registrar, administrar y ejecutar extensiones con el servicio de extensiones de Vertex AI, consulta Registra, administra y ejecuta extensiones.

Casos de uso y beneficios

Estos son algunos casos de uso posibles de extensiones:

  • Generar y ejecutar código.
  • Consultar sitios web y sintetizar información.
  • Responder preguntas basadas en información dentro de una colección de datos específicos de la empresa.
  • Consultar y analizar almacenes de datos.

El servicio de extensiones de Vertex AI proporciona los siguientes beneficios:

  • Controles empresariales: Permisos de Identity and Access Management (IAM) y controles de seguridad.
  • Seguridad de los datos: Acuerdos contractuales que indican que tus datos privados no se filtrarán ni se usarán en el entrenamiento de modelos.
  • Acuerdos de rendimiento: Acuerdos contractuales que indican que la plataforma entrega funciones y tiempos de actividad específicos.
  • Extensiones privadas: Los usuarios autorizados de tu organización o un socio de confianza pueden usar extensiones para acceder a datos y acciones internas sensibles, como buscar bases de conocimiento internas o completar acciones de RR.HH.
  • Integraciones de productos de Google: Integración con productos de Google, como Vertex AI Search, BigQuery y modelos especializados.

¿Qué sigue?