Data Boost-Nutzung überwachen

Auf dieser Seite wird beschrieben, wie Sie Cloud Monitoring und die Spanner-Prüfung verwenden Logs zum Überwachen und Analysieren der Spanner Data Boost-Nutzung.

Cloud Monitoring bietet die Möglichkeit, die Gesamtnutzung im Zeitverlauf zu verfolgen die Nutzung nach Nutzer*in aufgeschlüsselt werden. Spanner-Audit-Logs ermöglichen mehr flexible Nutzungsanalysen, einschließlich der Bereitstellung von Metriken nach Nutzer oder BigQuery-Job-ID.

Data Boost-Nutzung mit Cloud Monitoring im Blick behalten

Führen Sie die folgenden Schritte aus, um die gesamte Data Boost-Nutzung zu verfolgen:

1. Wechseln Sie in der Google Cloud Console zu Monitoring:
   Zu „Monitoring“
2. Wenn im Navigationsmenü der Metrics Explorer angezeigt wird, wählen Sie ihn aus. Klicken Sie andernfalls auf Ressourcen und wählen Sie dann Metrics Explorer aus.
3. Wählen Sie oben auf der Seite ein Zeitintervall aus.
4. In der Dropdown-Liste Messwert in der Dropdown-Liste Nach Ressource oder Messwert filtern Name spanner eingeben und Enter drücken, um die Suche einzugrenzen.

5. Wählen Sie in der Liste Messwert die Option Cloud Spanner-Instanz > Instanz > Processing Unit Second und klicken Sie dann auf Apply (Anwenden).

   Dadurch wird ein Liniendiagramm der aggregierten Data Boost-Nutzung für alle Spanner-Instanzen.

6. So rufen Sie die Nutzung für eine bestimmte Instanz auf:

   1. Klicken Sie auf + FILTER HINZUFÜGEN, um einen Filter zu erstellen.
   2. Wählen Sie in der Drop-down-Liste Label 1 die Option instance_id aus.
   3. Geben Sie in das Textfeld Wert 1 die ID der Instanz ein oder wählen Sie sie aus. angezeigt wird.

7. So rufen Sie eine Aufschlüsselung der Nutzung nach allen Instanzen auf:

   1. Entfernen Sie alle Filter, indem Sie neben Filter auf das Papierkorbsymbol klicken. .
   2. Wählen Sie unter Gruppieren nach in der Drop-down-Liste Labels die Option instance_id aus. und wählen Sie dann in der Liste Gruppierungsfunktion die Option Summe aus.

8. Um die Nutzung nach Hauptkonto aufzuschlüsseln, wählen Sie unter Gruppieren nach die Option credential_id in der Liste Labels und Summe im Liste der Gruppierungsfunktionen:

Im folgenden Beispiel werden Verarbeitungseinheiten in Sekunden nach Hauptkonto dargestellt.

Data Boost-Nutzung mithilfe von Audit-Logs analysieren

Spanner-Audit-Logs ermöglichen eine flexiblere Analyse Data Boost-Nutzung. Neben der Möglichkeit, die Nutzungsdaten aufzuschlüsseln, wie bei Cloud Monitoring im Zeitverlauf nach Instanz oder Hauptkonto. Spanner-Audit-Logs ermöglichen, sofern aktiviert und verfügbar, eine Aufschlüsselung Nutzung im Zeitverlauf nach Datenbank oder BigQuery-Job-ID.

Für das Aktivieren von Audit-Logs können zusätzliche Gebühren anfallen. Informationen zu Logging-Preise finden Sie unter Google Cloud Observability – Preise: Cloud Logging

Audit-Logs zur Data Boost-Nutzung aktivieren

Sie müssen zuerst Audit-Logs zum Datenzugriff für Spanner aktivieren Nutzungsdaten für Data Boost erheben. Führen Sie dazu die folgenden Schritte aus:

1. Folgen Sie dazu der Anleitung unter Konfigurieren Sie Audit-Logs zum Datenzugriff mit der Google Cloud Console.
2. Aktivieren Sie den Logtyp Datenlesevorgang für den Dienst Spanner API.
3. Um die Data Boost-Nutzung nach BigQuery-Job-SQL-Text zu erhalten, Achten Sie darauf, dass auch die Audit-Logs für BigQuery aktiviert sind.

Nutzung nach Hauptkonto ansehen

Um die Audit-Logs abzufragen, um die Data Boost-Nutzung nach Nutzer anzusehen, folgen Sie diese Schritte:

1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

   Zum Log-Explorer

2. Klicken Sie im Navigationsmenü auf Loganalysen.

3. Führen Sie folgenden Befehl aus, um die Nutzung nach Nutzer und Datenbank in den letzten 7 Tagen anzuzeigen Abfrage. Um den Zeitraum zu ändern, für den die Nutzung angezeigt wird, ändern Sie die Ausdruck timestamp in der WHERE-Klausel.

   SELECT
     SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
     REGEXP_EXTRACT(
       proto_payload.audit_log.resource_name,
       'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
     proto_payload.audit_log.authentication_info.principal_email AS principal_email
   FROM `PROJECT_NAME.global._Default._AllLogs`
   WHERE
     timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
     AND resource.type = 'spanner_instance' AND operation.last IS NULL
     AND JSON_VALUE(labels.data_boost_usage) != ''
   GROUP BY database, principal_email;
   

   Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Das folgende Beispiel zeigt die Verwendung in Verarbeitungseinheiten für vier Hauptkonten.

Nutzung nach BigQuery-Job-ID ansehen

Wenn Sie die Audit-Logs abfragen möchten, um die Data Boost-Nutzung aufgeschlüsselt nach Datenbank, Nutzer und BigQuery-Job-ID haben, führen Sie die folgenden Schritte aus:

1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

   Zum Log-Explorer

2. Klicken Sie im Navigationsmenü auf Loganalysen.

3. Führen Sie die folgende Abfrage aus:

   SELECT
     SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
     REGEXP_EXTRACT(
       proto_payload.audit_log.resource_name,
       'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
     proto_payload.audit_log.authentication_info.principal_email AS principal_email,
     IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id
   FROM `PROJECT_NAME.global._Default._AllLogs`
   WHERE
     timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
     AND resource.type = 'spanner_instance' AND operation.last IS NULL
     AND JSON_VALUE(labels.data_boost_usage) != ''
   GROUP BY database, principal_email, job_id;
   

   Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Im folgenden Beispiel wird die Nutzung nach BigQuery-Job-ID dargestellt.

Nutzung nach BigQuery-SQL-Text ansehen

Data Boost-Nutzung für mehrere BigQuery-Jobs ansehen die nach dem SQL-Text dieser Jobs aggregiert wurden, gehen Sie so vor:

1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

   Zum Log-Explorer

2. Klicken Sie im Navigationsmenü auf Loganalysen.

3. Führen Sie die folgende Abfrage aus:

   SELECT
     SUM(
       CAST(
         JSON_VALUE(db.labels.data_boost_usage)
         AS INT64)) AS usage,
     JSON_VALUE(
       bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
       AS bq_query
   FROM
     `PROJECT_NAME.global._Default._AllLogs` db,
     `PROJECT_NAME.global._Default._AllLogs` bq
   WHERE
     db.timestamp > TIMESTAMP_SUB(
       CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
     AND db.resource.type = 'spanner_instance'
     AND JSON_VALUE(db.labels.data_boost_usage) != ''
     AND db.operation.last IS NULL
     AND bq.timestamp > TIMESTAMP_SUB(
       CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
     AND bq.proto_payload.audit_log.method_name
       = 'google.cloud.bigquery.v2.JobService.InsertJob'
     AND bq.resource.type = 'bigquery_project'
     AND JSON_VALUE(
       bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
       IS NOT NULL
     AND JSON_VALUE(db.labels.data_boost_workload_id)
       = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
   GROUP BY bq_query
   ORDER BY usage DESC
   

   Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Das folgende Beispiel zeigt die Data Boost-Nutzung nach SQL-Text.

Data Boost-Benachrichtigung erstellen

So erstellen Sie eine Benachrichtigung, die ausgegeben wird, wenn die Data Boost-Nutzung die vordefinierte Schwellenwerte, finden Sie Benachrichtigung über die Nutzung von Data Boost einrichten

Nächste Schritte

• Informationen zu Data Boost finden Sie in Data Boost – Übersicht