生成 AI アプリケーションを計測する

このドキュメントでは、生成 AI アプリケーションを計測するメリットについて説明します。また、LangGraph フレームワークを使用するアプリケーションを計測する方法についても説明します。

生成 AI エージェントについて

生成 AI を使用するアプリケーションは、エージェントを使用してタスクの完や目標の達成を行います。エージェントは、ユーザーに代わってタスクの完了や目標の追求を行うアプリケーションです。たとえば、生成 AI エージェントはウェブサイトを操作し、API コマンドを実行できます。これらの API コマンドは、情報の取得やアクションの実行を行います。

エージェントは自動的に動作し、推論を使用して目標やタスクをサブタスクに分解する方法と、それらのサブタスクを実行するために使用するツールを決定します。生成 AI のコンテキストでは、ツールによってエージェントが環境とやり取りする方法を決定します。たとえば、エージェントには API コマンドの発行を可能にするツールが用意されています。

エージェントの詳細については、以下をご覧ください。

生成 AI アプリケーションを計測する理由

生成 AI アプリケーションの計測が、自律エージェントが使用する推論を理解する唯一の方法です。この推論プロセスは決定的ではありません。

生成 AI アプリケーションを計測すると、テレメトリー データにエージェントの意思決定とアクションが含まれます。このデータを使用して、アプリケーションを検証または改善できます。

生成 AI アプリケーションを計測する方法

アプリケーションを計測するには、テレメトリーを生成して、保存とクエリと分析が可能な場所に送信します。たとえば、計測によってテレメトリーが Google Cloud プロジェクトに送信される場合は、Google Cloud Observability を使用してそのデータを表示および分析できます。

LangGraph フレームワークの例では、OpenTelemetry を使用して、LangChain フレームワークまたは LangGraph フレームワークを使用する生成 AI アプリケーションを計測する方法を示しています。

  • OpenTelemetry は、アプリケーション計測用の統合フレームワークを提供するオープンソース プロジェクトです。

  • エージェント フレームワークは、生成 AI アプリケーションの開発に必要なインフラストラクチャを提供します。エージェント フレームワークは、ツールの作成と登録の方法、実行するツールの選択方法、ツールの実行方法を定義します。

Cloud Trace は、生成 AI アプリケーションによって書き込まれたスパンからイベントを抽出するように構成されています。ただし、スパンが OpenTelemetry の生成 AI スパンのセマンティック規則に準拠し、生成 AI イベントのセマンティック規則に従う属性またはイベントが含まれていることが条件です。