Instrumentar aplicativos de IA generativa

Este documento descreve os benefícios de instrumentar seus aplicativos de IA generativa. Ele também resume como você pode instrumentar um aplicativo que usa o framework LangGraph.

Sobre os agentes de IA generativa

Os aplicativos que usam a IA generativa dependem de agentes para concluir tarefas ou alcançar metas. Os agentes são aplicativos que concluem tarefas ou buscam metas em nome de um usuário. Por exemplo, um agente de IA generativa pode navegar em um site e emitir comandos de API. Esses comandos de API podem extrair informações ou realizar uma ação.

Os agentes agem de forma autônoma e usam o raciocínio para determinar como decompor uma meta ou tarefa em subtarefas e, em seguida, determinar quais ferramentas usar para concluir essas subtarefas. No contexto da IA generativa, as ferramentas determinam como o agente pode interagir com o ambiente. Por exemplo, um agente pode ter uma ferramenta que permite emitir comandos de API.

Para saber mais sobre os agentes, consulte:

Por que instrumentar seus aplicativos de IA generativa

Instrumentar seus aplicativos de IA generativa é a única maneira de entender o raciocínio usado pelos agentes autônomos. Esse processo de raciocínio não é determinista.

Quando você instrumenta um aplicativo de IA generativa, os dados de telemetria incluem as decisões e ações dos agentes. Você pode usar esses dados para validar ou melhorar seu aplicativo.

Como instrumentar seus aplicativos de IA generativa

A instrumentação do aplicativo envolve a geração de telemetria e o envio dela para o local de armazenamento e consulta e análise dos dados. Por exemplo, quando a instrumentação envia telemetria para o projeto Google Cloud , é possível usar a Observabilidade do Google Cloud para conferir e analisar esses dados.

O exemplo de framework do LangGraph ilustra como usar o OpenTelemetry para instrumentar um aplicativo de IA generativa que usa o framework LangChain ou LangGraph.

  • O OpenTelemetry é um projeto de código aberto que fornece um framework unificado para instrumentação de aplicativos.

  • Um framework de agente fornece a infraestrutura necessária para desenvolver um aplicativo de IA generativa. Os frameworks de agentes definem como criar e registrar ferramentas, como selecionar uma ferramenta para executar e como executar a ferramenta.

O Cloud Trace está configurado para extrair eventos de períodos gravados por aplicativos de IA generativa, desde que os períodos estejam em conformidade com as convenções semânticas do OpenTelemetry para períodos de IA generativa e incluam atributos ou eventos que sigam as convenções semânticas para eventos de IA generativa.