Data Boost-Nutzung überwachen

Auf dieser Seite wird beschrieben, wie Sie mit Cloud Monitoring und Spanner-Audit-Logs die Spanner Data Boost-Nutzung überwachen und analysieren.

Mit Cloud Monitoring können Sie die Gesamtnutzung im Zeitverlauf verfolgen und die Nutzung nach Nutzer aufschlüsseln. Spanner-Audit-Logs ermöglichen eine flexiblere Nutzungsanalyse, einschließlich der Bereitstellung von Messwerten nach Nutzer oder nach BigQuery-Job-ID.

Data Boost-Nutzung mit Cloud Monitoring im Blick behalten

Führen Sie die folgenden Schritte aus, um die gesamte Data Boost-Nutzung zu verfolgen:

  1. Wechseln Sie in der Google Cloud Console zu Monitoring:
    Zu „Monitoring“
  2. Wenn im Navigationsmenü der Metrics Explorer angezeigt wird, wählen Sie ihn aus. Klicken Sie andernfalls auf Ressourcen und wählen Sie Metrics Explorer aus.
  3. Wählen Sie oben auf der Seite ein Zeitintervall aus.
  4. Geben Sie in der Drop-down-Liste Messwert im Feld Nach Ressource oder Messwertname filtern den Wert spanner ein und drücken Sie Enter, um die Suche einzugrenzen.

  5. Wählen Sie in der Liste Messwert die Option Cloud Spanner-Instanz > Instanz > Verarbeitungseinheit in Sekunden aus und klicken Sie dann auf Übernehmen.

    Dadurch wird ein Liniendiagramm der aggregierten Data Boost-Nutzung für alle Spanner-Instanzen erstellt.

  6. So rufen Sie die Nutzung für eine bestimmte Instanz auf:

    1. Klicken Sie auf + FILTER HINZUFÜGEN, um einen Filter zu erstellen.
    2. Wählen Sie in der Drop-down-Liste Label 1 die Option instance_id aus.
    3. Geben Sie im Textfeld Wert 1 die ID der Instanz ein, für die die Nutzung angezeigt werden soll, oder wählen Sie sie aus.

  7. So rufen Sie eine Aufschlüsselung der Nutzung nach allen Instanzen auf:

    1. Löschen Sie alle Filter, indem Sie auf das Papierkorbsymbol neben den Feldern Filter klicken.
    2. Wählen Sie unter Gruppieren nach in der Drop-down-Liste Labels die Option instance_id und dann in der Liste Gruppierungsfunktion die Option Summe aus.

  8. Wählen Sie zum Aufschlüsseln der Nutzung nach Hauptkonto unter Gruppieren nach in der Liste Labels die Option credential_id und in der Liste Gruppierungsfunktion die Option Summe aus.

Das folgende Beispiel zeigt Sekunden der Verarbeitungseinheit nach Hauptkonto.

Verarbeitung in Sekunden nach Nutzer

Data Boost-Nutzung mit Audit-Logs analysieren

Spanner-Audit-Logs ermöglichen eine flexiblere Analyse der Data Boost-Nutzung. Zusätzlich zur Möglichkeit, die Nutzung im Zeitverlauf nach Instanz oder Hauptkonto aufzuschlüsseln, wie bei Cloud Monitoring, ermöglichen Spanner-Audit-Logs, sofern aktiviert und verfügbar, eine Aufschlüsselung der Nutzung im Zeitverlauf nach Datenbank oder BigQuery-Job-ID.

Für das Aktivieren von Audit-Logs können zusätzliche Kosten anfallen. Informationen zu den Logging-Preisen finden Sie unter Preise für die Google Cloud-Beobachtbarkeit: Cloud Logging.

Data Boost-Nutzungs-Audit-Logs aktivieren

Sie müssen Audit-Logs zum Datenzugriff für Spanner aktivieren, bevor Sie Nutzungsdaten für Data Boost erfassen können. Führen Sie dazu die folgenden Schritte aus:

  1. Folgen Sie der Anleitung unter Audit-Logs zum Datenzugriff mit der Google Cloud Console konfigurieren.
  2. Aktivieren Sie den Logtyp Daten lesen für den Dienst Spanner API.
  3. Wenn Sie die Data Boost-Nutzung durch BigQuery-Job-SQL-Text abrufen möchten, müssen Sie auch die Audit-Logs für BigQuery aktivieren.

Nutzung nach Hauptkonto ansehen

So fragen Sie die Audit-Logs ab, um sich die Data Boost-Nutzung nach Nutzer anzusehen:

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Klicken Sie im Navigationsmenü auf Loganalysen.

  3. Führen Sie die folgende Abfrage aus, um die Nutzung nach Nutzer und Datenbank in den letzten 7 Tagen anzuzeigen. Wenn Sie die Zeitspanne ändern möchten, für die die Nutzung angezeigt wird, ändern Sie den Ausdruck timestamp in der WHERE-Klausel.

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email;

    Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Das folgende Beispiel zeigt die Verwendung in Verarbeitungseinheiten für vier Hauptkonten.

Data Boost-Nutzung durch Nutzer aus Audit-Logs

Nutzung nach BigQuery-Job-ID ansehen

So fragen Sie die Audit-Logs ab, um die Data Boost-Nutzung aufgeschlüsselt nach Datenbank, Nutzer und BigQuery-Job-ID anzusehen:

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Klicken Sie im Navigationsmenü auf Loganalysen.

  3. Führen Sie die folgende Abfrage aus:

    SELECT
  SUM(CAST(JSON_VALUE(labels.data_boost_usage) AS INT64)) AS usage,
  REGEXP_EXTRACT(
    proto_payload.audit_log.resource_name,
    'projects/[^/]+/instances/[^/]+/databases/[^/]+') AS database,
  proto_payload.audit_log.authentication_info.principal_email AS principal_email,
  IFNULL(JSON_VALUE(labels.data_boost_workload_id), 'not from BQ') AS job_id
FROM `PROJECT_NAME.global._Default._AllLogs`
WHERE
  timestamp > TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND resource.type = 'spanner_instance' AND operation.last IS NULL
  AND JSON_VALUE(labels.data_boost_usage) != ''
GROUP BY database, principal_email, job_id;

    Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Das folgende Beispiel zeigt die Verwendung nach BigQuery-Job-ID.

Data Boost-Nutzung nach Job-ID

Nutzung nach BigQuery-SQL-Text ansehen

So rufen Sie die Data Boost-Nutzung für mehrere BigQuery-Jobs auf, die nach dem SQL-Text dieser Jobs zusammengefasst sind:

  1. Rufen Sie in der Google Cloud Console den Log-Explorer auf.

    Zum Log-Explorer

  2. Klicken Sie im Navigationsmenü auf Loganalysen.

  3. Führen Sie die folgende Abfrage aus:

    SELECT
  SUM(
    CAST(
      JSON_VALUE(db.labels.data_boost_usage)
      AS INT64)) AS usage,
  JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    AS bq_query
FROM
  `PROJECT_NAME.global._Default._AllLogs` db,
  `PROJECT_NAME.global._Default._AllLogs` bq
WHERE
  db.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND db.resource.type = 'spanner_instance'
  AND JSON_VALUE(db.labels.data_boost_usage) != ''
  AND db.operation.last IS NULL
  AND bq.timestamp > TIMESTAMP_SUB(
    CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
  AND bq.proto_payload.audit_log.method_name
    = 'google.cloud.bigquery.v2.JobService.InsertJob'
  AND bq.resource.type = 'bigquery_project'
  AND JSON_VALUE(
    bq.proto_payload.audit_log.metadata.jobInsertion.job.jobConfig.queryConfig.query)
    IS NOT NULL
  AND JSON_VALUE(db.labels.data_boost_workload_id)
    = REGEXP_EXTRACT(bq.proto_payload.audit_log.resource_name, '[^/]*$')
GROUP BY bq_query
ORDER BY usage DESC

    Ersetzen Sie PROJECT_NAME durch Ihren Projektnamen.

Das folgende Beispiel zeigt die Data Boost-Nutzung nach SQL-Text.

Data Boost-Nutzung nach SQL-Text

Data Boost-Benachrichtigung erstellen

Informationen zum Erstellen einer Benachrichtigung, die ausgegeben wird, wenn die Data Boost-Nutzung einen vordefinierten Grenzwert überschreitet, finden Sie unter Benachrichtigung über die Data Boost-Nutzung einrichten.

Nächste Schritte