Auf dieser Seite wird beschrieben, wie Sie integrierte Messwerte, benutzerdefinierte Messwerte und Benachrichtigungen verwenden, um Ihre Agents in Vertex AI Agent Engine zu überwachen.
Übersicht
Sie können Vertex AI Agent Engine mit Cloud Monitoring ohne zusätzliche Einrichtung oder Konfiguration verwenden. Integrierte Agent-Messwerte werden automatisch erfasst und auf Cloud Monitoring-Seiten in derGoogle Cloud -Konsole visualisiert.
Unterstützte integrierte Messwerte
Die folgenden Agent-Messwerte werden unterstützt und sind mit der überwachten Ressource aiplatform.googleapis.com/ReasoningEngine von Vertex AI Agent Engine verknüpft:
- Anzahl der Anfragen
- Anfragelatenzen
- Container-CPU-Zuweisungszeit
- Zeit für die Speicherbelegung des Containers
Weitere Informationen zu Messwerttypen, Einheiten, Labels sowie Latenz und Stichprobenerhebungszeitraum finden Sie in der vollständigen Liste der AI Platform-Messwerte.
Messwerte für einen Agent ansehen
Sie können die integrierten Messwerte Ihres Agents in der Google Cloud -Konsole mit dem Metrics Explorer aufrufen:
Bitten Sie Ihren Administrator, Ihnen die Rolle Monitoring-Betrachter (
roles/monitoring.viewer) für Ihr Projekt zuzuweisen, um die Berechtigung zum Aufrufen von Messwerten im Messwert-Explorer zu erhalten.Rufen Sie in der Google Cloud Console den Metrics Explorer auf:
Wählen Sie Ihr Google Cloud Projekt aus.
Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.
Geben Sie Vertex AI Reasoning Engine in die Suchleiste ein und klicken Sie auf Vertex AI Reasoning Engine.
Klicken Sie auf die Messwertkategorie Reasoning_engine und dann auf einen Messwert, z. B. Anzahl der Anfragen.
Optional können Sie zusätzliche Label-Filter und ein Aggregationselement festlegen und den Zeitraum anpassen.
Standardmäßig werden die Datenpunkte in den Diagrammen im Metrics Explorer für den Messwert Anzahl der Anfragen mit einem Standardzeitintervall ausgerichtet und als Anfragen pro Sekunde (ein Ratenmesswert) dargestellt.
Messwerte für einen Agent abfragen
Sie können Messwerte auch über die Prometheus Query Language (PromQL) oder die Cloud Monitoring API v3 abfragen. PromQL bietet mehr Optionen zum Filtern, Aggregieren und Transformieren von Messwerten, während Sie mit der Cloud Monitoring API alle Rohdatenpunkte programmatisch auflisten und abfragen können.
Messwerte mit PromQL abfragen
Mit PromQL können Sie Datenpunkte mit einem benutzerdefinierten Zeitintervall ausrichten und aggregieren und transformierte Datenpunkte als absolute Anzahl von Anfragen (anstatt Anfragen pro Sekunde) darstellen. Im folgenden Beispiel werden Daten nach der Agent Engine-Instanz-ID (RESOURCE_ID) und dem Antwortcode (RESPONSE_CODE) gefiltert:
sum_over_time(
increase(
aiplatform_googleapis_com:reasoning_engine_request_count{
monitored_resource='aiplatform.googleapis.com/ReasoningEngine',
reasoning_engine_id='RESOURCE_ID',
response_code='RESPONSE_CODE'
}
[10m]
)
[10m:10m]
)
Sie können die Fehlerrate abfragen, indem Sie das Verhältnis der Anfragen, die mit bestimmten Fehlerantwortcodes (z. B. 500) gekennzeichnet sind, zur Gesamtzahl der Anfragen berechnen (Prozentsatz der fehlgeschlagenen Anfragen):
sum_over_time(
sum(
rate(
aiplatform_googleapis_com:reasoning_engine_request_count{
monitored_resource='aiplatform.googleapis.com/ReasoningEngine',
reasoning_engine_id='RESOURCE_ID',
response_code='500'
}
[10m]
)
)
[10m:10m]
)
/
sum_over_time(
sum(
rate(
aiplatform_googleapis_com:reasoning_engine_request_count{
monitored_resource='aiplatform.googleapis.com/ReasoningEngine',
reasoning_engine_id='RESOURCE_ID',
}
[10m]
)
)
[10m:10m]
)
Best Practices und Einschränkungen für Verhältnis-Messwerte finden Sie unter Verhältnisse von Messwerten. Ein Beispiel dafür, wie Sie eine Benachrichtigung für den Messwert „Fehlerrate“ festlegen, finden Sie unter Beispielrichtlinien in JSON.
Messwerte mit der Cloud Monitoring API abfragen
Mit der Cloud Monitoring API haben Sie folgende Möglichkeiten:
Definition der überwachten Ressource für Vertex AI Agent Engine abrufen
Verfügbare Agent-Messwertdefinitionen auflisten
Zeitreihendaten für
request_countabfragen
Alle Agent-Messwerte sind der überwachten Ressource „Agent Engine“ aiplatform.googleapis.com/ReasoningEngine zugeordnet.
Sie können diese APIs über den APIs Explorer, sprachspezifische Clientbibliotheken oder die Befehlszeile aufrufen. Weitere Informationen zum Lesen von Messwerten über APIs Explorer und Clientbibliotheken finden Sie in der Dokumentation. Die folgenden Beispiele veranschaulichen die Verwendung in der Befehlszeile, insbesondere des curl-Tools.
Definition der überwachten Ressource für die Agent Engine abrufen
Mit dem folgenden Befehl wird die Definition der überwachten Ressource mit projects.monitoredResourceDescriptors sowie alle verfügbaren Labels abgerufen, die zum Filtern verwendet werden können:
gcurl https://monitoring.googleapis.com/v3/projects/PROJECT_ID/monitoredResourceDescriptors/aiplatform.googleapis.com/ReasoningEngine
Die Labels sollten resource_container, location und reasoning_engine_id enthalten.
Verfügbare Agent-Messwertdefinitionen auflisten
Mit dem folgenden Befehl werden alle Messwerte und Label-Filter für Agent Engine abgerufen: projects.metricDescriptors.
gcurl https://monitoring.googleapis.com/v3/projects/PROJECT_ID/metricDescriptors?filter='metric.type=starts_with("aiplatform.googleapis.com/reasoning_engine")'Das Ergebnis sollte die Definition für die folgenden Messwerte sowie die zugehörigen Labels enthalten:
aiplatform.googleapis.com/reasoning_engine/request_countaiplatform.googleapis.com/reasoning_engine/request_latenciesaiplatform.googleapis.com/reasoning_engine/cpu/allocation_timeaiplatform.googleapis.com/reasoning_engine/memory/allocation_time
Zeitreihendaten für request_count abfragen
Sie können projects.timeSeries.list zusammen mit Parametern wie interval, filter und aggregation verwenden, um Zeitreihendaten abzufragen.
Im folgenden Beispiel wird gezeigt, wie Sie die Rohdatenpunkte für den Messwert request_count für eine bestimmte Agent-Instanz in einem bestimmten Zeitraum abfragen:
gcurl https://monitoring.googleapis.com/v3/projects/PROJECT_ID/timeSeries?filter='metric.type="aiplatform.googleapis.com/reasoning_engine/request_count"%20AND%20resource.labels.reasoning_engine_id="RESOURCE_ID"&interval.endTime=2025-03-26T11:00:0.0-08:00&interval.startTime=2025-03-26T10:00:0.0-08:00'
Ersetzen Sie Folgendes:
- PROJECT_ID: Ihre Google Cloud -Projekt-ID
- RESOURCE_ID: Die Agent Engine-Instanz-ID. Das ist nicht immer erforderlich. Sie können Abfragen für mehrere Agent Engine-Instanzen innerhalb desselben Projekts ausführen.
interval.startTimeundinterval.endTime: Der Beginn (einschließlich) und das Ende (ausschließlich) des Zeitintervalls im RFC 3339-Format. Beispiele:"2025-03-26T11:22:33Z"für die koordinierte Weltzeit (UTC) und"2025-03-26T11:22:33-08:00"für die Pacific Standard Time (PST). Die vollständige Definition und weitere Beispiele finden Sie in RFC 3339.
Sie sollten eine Antwort ähnlich der folgenden erhalten:
{
"timeSeries": [
{
"metric": {
"labels": {
"response_code": "200",
"response_code_class": "2xx"
},
"type": "aiplatform.googleapis.com/reasoning_engine/request_count"
},
"resource": {
"type": "aiplatform.googleapis.com/ReasoningEngine",
"labels": {
"reasoning_engine_id": "RESOURCE_ID",
"location": "LOCATION",
"project_id": "PROJECT_ID"
}
},
"metricKind": "DELTA",
"valueType": "INT64",
"points": [
{
"interval": {
"startTime": "2025-03-26T18:55:27.001Z",
"endTime": "2025-03-26T18:56:27Z"
},
"value": {
"int64Value": "25"
}
},
{
"interval": {
"startTime": "2025-03-26T18:54:27.001Z",
"endTime": "2025-03-26T18:55:27Z"
},
"value": {
"int64Value": "36"
}
}
// ... more data points ...
]
}
// ... potentially more time series with other response codes ...
],
"unit": "1"
}
Weitere Informationen zum Antwortformat finden Sie unter projects.timeSeries.list.
Benutzerdefinierte Messwerte für einen Agent erstellen
Wenn die integrierten Agent-Messwerte Ihren speziellen Anwendungsfall nicht abdecken, können Sie benutzerdefinierte Messwerte definieren. Sie haben folgende Möglichkeiten, benutzerdefinierte Messwerte zu erstellen:
Logbasierte Messwerte: Trends und Muster in einer großen Anzahl von Logeinträgen beobachten.
Benutzerdefinierte Messwerte: Messwerte, die nicht von Google Clouddefiniert werden, z. B. zum Erfassen anwendungsspezifischer Daten oder clientseitiger Systemdaten.
Logbasierte Messwerte
In den folgenden Schritten wird gezeigt, wie Sie einen logbasierten Messwert (tool_calling_count) für einen Beispielworkflow erstellen und verwenden, in dem mehrere Agents mehrere Tools aufrufen und Sie Tool-Aufrufe zählen möchten:
Geben Sie an, dass Ihr Tool jedes Mal, wenn es aufgerufen wird, einen Logeintrag schreiben soll. Beispiel:
"tool-\<tool-id\> invoked by agent-\<agent-id\>"So erstellen Sie einen neuen logbasierten Zählermesswert über die Google Cloud -Console:
Rufen Sie in der Google Cloud Console die Seite Logbasierte Messwerte auf:
Klicken Sie im Bereich Benutzerdefinierte Messwerte auf Messwert erstellen. Der Bereich Logbasierten Messwert erstellen wird angezeigt.
Wählen Sie als Messwerttyp die Option Zähler aus.
Geben Sie im Bereich Details den Namen des logbasierten Messwerts ein. Beispiel:
tool_calling_count. Geben Sie optional die Beschreibung und die Einheiten ein.Gehen Sie im Bereich Filterauswahl so vor:
Wählen Sie in der Drop-down-Liste Projekt oder Log-Bucket auswählen die Option Projektlogs aus.
Geben Sie im Feld Filter erstellen den Logfilter mit der Logging-Abfragesprache ein. Beispiel:
resource.type="aiplatform.googleapis.com/ReasoningEngine" resource.labels.reasoning_engine_id="RESOURCE_ID" textPayload =~ "tool-\d+ invoked by agent-\d+" -- assuming both tool and agent IDs are numeric
Fügen Sie im Bereich Labels zwei neue Labels hinzu, indem Sie auf die Schaltfläche Label hinzufügen klicken.
Gehen Sie für das erste Label so vor:
Geben Sie im Feld Labelname
toolein.Geben Sie im Feld Feldname den Wert
textPayloadein.Geben Sie im Feld Regulärer Ausdruck den Wert
(tool-\d+) invoked by agent-\d+ein.
Gehen Sie für das zweite Label so vor:
Geben Sie im Feld Labelname
agentein.Geben Sie im Feld Feldname den Wert
textPayloadein.Geben Sie im Feld Regulärer Ausdruck den Wert
tool-\d+ invoked by (agent-\d+)ein.
- Klicken Sie auf Fertig.
Klicken Sie auf Messwert erstellen.
So rufen Sie den Messwert
tool_calling_countund die zugehörigen Logs in der Google Cloud -Konsole auf:Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf:
Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.
Geben Sie Vertex AI Reasoning Engine in die Suchleiste ein und klicken Sie auf Vertex AI Reasoning Engine.
Klicken Sie auf die Messwertkategorie Logbasierte Messwerte und dann auf Logging/user/tool_calling_count. Passen Sie den Zeitraum bei Bedarf an.
Optional: Filtern Sie nach den Labels
toolundagent.Wenn Sie die Gesamtzahl der Aufrufe für ein bestimmtes Tool für alle Agents abrufen möchten, legen Sie das Filterlabel
toolmit dem Wert der Tool-ID fest.Wenn Sie die Gesamtzahl der Aufrufe für einen bestimmten Agenten für alle Tools abrufen möchten, legen Sie das Filterlabel
agentmit dem Wert der Agenten-ID fest.
Optional können Sie Summieren nach auf
tooloderagentfestlegen, um die Gesamtzahl nach verschiedenen Tools oder Kundenservicemitarbeitern aufzuschlüsseln.
Eine Anleitung zum Schreiben von Agent-Logs finden Sie unter Agent protokollieren. Weitere Informationen zu logbasierten Messwerten finden Sie unter Übersicht über logbasierte Messwerte.
Benutzerdefinierte Messwerte
In den folgenden Schritten wird gezeigt, wie Sie einen benutzerdefinierten Messwert (token_count) für einen Beispielworkflow erstellen und verwenden, in dem mehrere Agents mehrere Modelle aufrufen und Sie die Gesamtzahl der verbrauchten Tokens berechnen möchten. Dabei wird davon ausgegangen, dass Sie die Anzahl der Tokens seit dem Start der Anwendung für jeden aufrufenden Agent und jedes Zielmodell erfassen:
Definieren Sie den benutzerdefinierten Messwerttyp, indem Sie
projects.metricDescriptors.createmit den folgenden Parametern aufrufen:name: ein URL-String, z. B.projects/PROJECT_IDRequest body: einMetricDescriptor-Objekt:{ "name": "token_count", "description": "Token Consumed by models.", "displayName": "Token Count", "type": "custom.googleapis.com/token_count", "metricKind": "CUMULATIVE", "valueType": "INT64", "unit": "1", "labels": [ { "key": "model", "valueType": "STRING", "description": "Model." }, { "key": "agent", "valueType": "STRING", "description": "Agent." } ], "monitoredResourceTypes": [ "generic_node" ] }Der neue Messwert
token_countwird mit dem TypCumulativeerstellt, der die Gesamtzahl der Tokens seit dem Start der Anwendung darstellt. Weitere Informationen zu denCumulative-Messwerten finden Sie unter Messwertarten und -typen. Die Labelsmodelundagentstehen für den Namen des Ziel-LLM (Large Language Model) und des aufrufenden Agents.
Sie finden den Messwert
token_countim Metrics Explorer:- Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf:
Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.
Geben Sie Generic node in die Suchleiste ein und klicken Sie auf Benutzerdefinierte Messwerte.
Klicken Sie auf Token Count (Tokenanzahl).
Schreiben Sie Datenpunkte in den neuen Messwert, indem Sie
projects.timeSeries.createmit den folgenden Parametern aufrufen:name: ein URL-String, z. B.projects/PROJECT_IDRequest body: eine Liste vonTimeSeries-Objekten:{ "timeSeries": [ { "metric": { "type": "custom.googleapis.com/token_count", "labels": { "model": "model-1", "agent": "agent-1" } }, "resource": { "type": "generic_node", "labels": { "project_id": "PROJECT_ID", "node_id": "RESOURCE_ID", "namespace": "", "location": "us-central1" } }, "points": [ { "interval": { "startTime": "2025-03-26T10:00:00-08:00", "endTime": "2025-03-26T10:01:00-08:00" }, "value": { "int64Value": 15 } } ] }, { "metric": { "type": "custom.googleapis.com/token_count", "labels": { "model": "model-1", "agent": "agent-2" } }, "resource": { "type": "generic_node", "labels": { "project_id": "PROJECT_ID", "node_id": "RESOURCE_ID", "namespace": "", "location": "us-central1" } }, "points": [ { "interval": { "startTime": "2025-03-26T10:00:00-08:00", "endTime": "2025-03-26T10:01:00-08:00" }, "value": { "int64Value": 20 } } ] } // ... more time series ... ] }
Nachdem die Datenpunkte über die Cloud Monitoring API hochgeladen wurden, können Sie den neuen Messwert
token_countüber die Google Cloud Console aufrufen:Rufen Sie in der Google Cloud Console die Seite Metrics Explorer auf:
Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.
Geben Sie Generic node in die Suchleiste ein und klicken Sie auf Benutzerdefinierte Messwerte.
Klicken Sie auf Token Count (Tokenanzahl). Passen Sie den Zeitraum an und konfigurieren Sie bei Bedarf Labelwerte für
modeloderagent.
Benachrichtigungen für einen Agent erstellen
Sie können Messwerte in Kombination mit Benachrichtigungen verwenden. Weitere Informationen finden Sie unter Übersicht über Benachrichtigungen.
Im folgenden Beispiel wird gezeigt, wie Sie eine Grenzwertbenachrichtigung für den Messwert request_latencies erstellen, damit Sie Benachrichtigungen erhalten, wenn die Latenz für einen bestimmten Zeitraum einen vordefinierten Wert überschreitet:
Rufen Sie in der Google Cloud Console die Seite Benachrichtigungen auf:
Klicken Sie auf Richtlinie erstellen. Die Seite Benachrichtigungsrichtlinie erstellen wird geöffnet.
Wählen Sie für Modus für die Richtlinienkonfiguration die Option Builder aus.
Wählen Sie im Drop-down-Menü Messwert auswählen die Option
Vertex AI Reasoning Engine->reasoning_engine->Request Latencyaus.Konfigurieren Sie optional Filter im Bereich Filter hinzufügen, z. B.
reasoning_engine_idoderresponse_code.Legen Sie im Bereich Daten transformieren für Rollierendes Zeitfenster und Funktion für rollierendes Zeitfenster Werte wie
5minund99th percentilefest (99. Perzentil der Anfragelatenz über den 5-minütigen Abgleichszeitraum).Klicken Sie auf Weiter.
Führen Sie im Abschnitt Benachrichtigungstrigger konfigurieren die folgenden Schritte aus:
Wählen Sie unter Bedingungstypen die Option Schwellenwert aus.
Wählen Sie einen Benachrichtigungstrigger aus, z. B. Bei jedem Verstoß.
Wählen Sie eine Grenzwertposition aus, z. B. Über Grenzwert.
Geben Sie einen Grenzwert ein, z. B.
5000ms.Klicken Sie auf Weiter.
Führen Sie im Bereich Benachrichtigungen konfigurieren und Benachrichtigung fertigstellen folgende Schritte aus:
Wählen Sie einen oder mehrere Benachrichtigungskanäle aus. Weitere Informationen finden Sie unter Benachrichtigungskanäle verwalten.
Optional: Konfigurieren Sie den Betreff der Benachrichtigung, die Dauer für das automatische Schließen von Vorfällen, Anwendungs- und Richtlinienlabels, den Schweregrad und zusätzliche Dokumentation.
Legen Sie den Richtliniennamen im Abschnitt Benachrichtigungsrichtlinie benennen fest, z. B.
latency-99p-alert.Klicken Sie auf Richtlinie erstellen.
Im Falle eines Vorfalls finden Sie unter Vorfälle für messwertbasierte Benachrichtigungsrichtlinien weitere Informationen zum Bestätigen und Untersuchen des Vorfalls sowie zum Stummschalten der Benachrichtigung.
Weitere Beispiele für Benachrichtigungen finden Sie unter Beispielrichtlinien in JSON.
Messwerte für einen Agent überwachen
Mit dem Dashboard „Vertex AI Agent Engine – Übersicht“ können Sie den Betriebsstatus und die Leistung Ihrer Agents überwachen.
Standard-Dashboard aufrufen
Rufen Sie in der Google Cloud Console die Seite Dashboards auf:
Wählen Sie Ihr Google Cloud Projekt aus.
Fügen Sie im Bereich Meine Dashboards den Filter
Name:Vertex AI Agent Engine Overviewhinzu.Klicken Sie auf Vertex AI Agent Engine – Übersicht, um das Standard-Agent-Dashboard aufzurufen.
Standard-Dashboard anpassen
Das Standard-Dashboard enthält nur die integrierten Messwerte des Agents. So fügen Sie dem Dashboard eigene benutzerdefinierte Messwerte hinzu:
Klicken Sie auf Dashboard kopieren. Klicken Sie im Dialogfeld Dashboard kopieren auf Kopieren. Die Kopie des Dashboards wird geöffnet. Sie finden die Dashboard-Kopie auch im Bereich Meine Dashboards in der Kategorie Benutzerdefiniert.
So fügen Sie der Dashboardkopie einen Messwert hinzu:
Klicken Sie auf Widget hinzufügen. Die Seitenleiste Widget hinzufügen wird angezeigt.
Wählen Sie unter Daten die Option Messwert aus. Die Seitenleiste Widget konfigurieren wird angezeigt.
Klicken Sie auf Messwert auswählen, um eine Suchleiste zu öffnen.
Wenn Ihr benutzerdefinierter Messwert mit logbasierten Messwerten erstellt wird:
Geben Sie Vertex AI Reasoning Engine in die Suchleiste ein und klicken Sie auf Vertex AI Reasoning Engine.
Klicken Sie auf die Messwertkategorie Logbasierte Messwerte und dann auf einen Messwert, z. B. Logging/user/tool_calling_count.
Klicken Sie auf Übernehmen.
Wenn Ihr benutzerdefinierter Messwert mit benutzerdefinierten Messwerten erstellt wurde:
Geben Sie Generic Node in die Suchleiste ein und klicken Sie auf Generic Node.
Klicken Sie auf die Messwertkategorie Benutzerdefinierte Messwerte und dann auf einen Messwert, z. B. Anzahl der Tokens.
Klicken Sie auf Übernehmen.
Im Dashboard wird ein neues Diagramm mit dem benutzerdefinierten Messwert angezeigt.
Sie können das Layout des Dashboards weiter anpassen, z. B.:
Sie können das Widget verschieben, indem Sie den Widget-Titel gedrückt halten und das Widget an eine andere Stelle im selben Dashboard ziehen.
Halten Sie die rechte untere Ecke des Widgets gedrückt und passen Sie die Größe an.
Weitere Informationen zum Hinzufügen von Messwertdiagrammen mit der Prometheus-Abfragesprache (PromQL) sowie zum Tabellieren Ihrer Messwerte finden Sie unter Benutzerdefinierten Dashboards Diagramme und Tabellen hinzufügen.
Wenn Sie benutzerdefinierte Benachrichtigungen konfiguriert haben, finden Sie unter Benachrichtigungsrichtlinien und Benachrichtigungen in einem Dashboard anzeigen Informationen zum Hinzufügen solcher Benachrichtigungen zu Ihrem Dashboard.