BigQuery-Monitoring

Dieses Dokument beschreibt, wie BigQuery-Ressourcen mit Cloud Monitoring überwacht und Diagramme und Benachrichtigungen für BigQuery-Messwerte erstellt werden.

Vorbereitung

Dashboards, Diagramme und Benachrichtigungen ansehen und erstellen

Cloud Monitoring-Dashboard aufrufen

So verwenden Sie Cloud Monitoring zur Überwachung Ihres BigQuery-Projekts:

  1. Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

    Zu Monitoring

  2. Wählen Sie den Namen Ihres Projekts aus, wenn er nicht bereits oben auf der Seite ausgewählt ist.

  3. Die BigQuery-Ressourcen rufen Sie mit Dashboards > BigQuery auf: Auf der eingeblendeten Seite finden Sie eine Liste von konfigurierbaren Tabellen, Ereignissen und Vorfallberichten sowie Diagramme von Projekt- oder Dataset-Messwerten.

    BigQuery-Dashboard

Verfügbare und zugewiesene Slots visualisieren

Zum Visualisieren der verfügbaren und Ihrem Projekt zugewiesenen Slots rufen Sie das Dashboard für BigQuery auf, das unter Cloud Monitoring-Dashboard aufrufen beschrieben wird:

  1. Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

    Zu Monitoring

  2. Wählen Sie Dashboards > BigQuery aus.

  3. Scrollen Sie im Cloud Monitoring-Dashboard für BigQuery zum Diagramm Slot-Nutzung.

Das Diagramm Slot-Nutzung wird sowohl auf dem standardmäßigen Cloud Monitoring-Haupt-Dashboard als auch auf dem Cloud Monitoring-Dashboard für BigQuery eingeblendet.

Dashboard und Diagramm erstellen

Stellen Sie die von Cloud Monitoring erfassten Messwerte in eigenen Diagrammen und Dashboards dar:

  1. Rufen Sie in der Google Cloud Console die Seite Monitoring auf.

    Zu Monitoring

  2. Wählen Sie Dashboards > Dashboard erstellen aus.

  3. Klicken Sie auf Diagramm hinzufügen. Die Seite "Diagramm hinzufügen" wird angezeigt:

    Seite: Diagramm hinzufügen

  4. Wählen Sie in den Feldern Ressourcentyp und Messwert suchen Folgendes aus:

    • Wählen Sie für die Drop-down-Liste Ressourcentyp die Option Global aus. Unter Umständen müssen Sie die Liste Ressourcentypen erweitern, damit die Option Global angezeigt wird.
    • Wählen Sie für die Drop-down-Liste Messwert die Option Ausführungszeit der Abfrage aus.
  5. In den Feldern des Bereichs Aggregation legen Sie fest, wie die Ausführungszeiten angezeigt werden. Sie können die Standardeinstellungen für diese Felder ändern.

  6. Klicken Sie auf Speichern.

Benachrichtigung erstellen

Verwenden Sie die folgenden Einstellungen, um eine Benachrichtigungsrichtlinie zu erstellen, die Sie benachrichtigt, wenn das 50. Perzentil der Ausführungszeit einer BigQuery-Anfrage einen benutzerdefinierten Grenzwert überschreitet:

Bereich Ziel
Feld

Wert
Resource type Global
Metric Query execution time
Filter
Aggregator none
Advanced Aggregation Aligner: 50th percentile
Alignment Period: 1 m
Bereich Bedingungen
Feld

Wert
Condition triggers if Any time series violates
Condition is above
Threshold Sie legen den akzeptablen Wert fest. Berücksichtigen Sie für diesen Messwert einen Schwellenwert, der etwa doppelt so hoch ist wie der Durchschnittswert für das 50. Perzentil.
For 1 minute

Messwerte, die visualisiert werden können

Folgende Messwerte sind verfügbar, bis zu mehreren Stunden zeitversetzt.

Ressourcentyp Name Einheiten Beschreibung
BigQuery Gescannte Byte Byte pro Minute Anzahl gescannter Byte
BigQuery Gescannte in Rechnung gestellte Byte Byte pro Minute Anzahl der zur Abrechnung gesendeten Byte

Die Anzahl der gescannten Byte und die Anzahl der gescannten in Rechnung gestellten Byte kann aus verschiedenen Gründen unterschiedlich sein.

  • Es gibt einen Mindestabrechnungsbetrag. Wenn die von Ihnen gescannten Byte unter dem Betrag liegen, sind sie kostenlos.
  • Wenn Ihr Konto ein damit verbundenes Guthaben aufweist, können sich diese Messwerte unterscheiden.

BigQuery Abfragezeit
– 5. Perzentil
– 50. Perzentil
– 95. Perzentil
– 99. Perzentil
Sekunden Nicht im Cache gespeicherte Abfrageausführungszeitpunkte
BigQuery Zugewiesene Slots Slots Anzahl der dem Projekt zu jeder Zeit zugewiesenen Slots. Dies kann auch als die Anzahl der von diesem Projekt genutzten Slots betrachtet werden.

Slots werden pro Abrechnungskonto vergeben und mehrere Projekte können die gleiche Reservierung von Slots teilen.

BigQuery Nach Jobtyp zugeordnete Slots Slots Anzahl der Slots, die dem Projekt immer zugewiesen sind, nach Jobtyp getrennt. Dies entspricht auch der Anzahl der von diesem Projekt genutzten Slots. Derzeit sind Lade- und Exportjobs kostenlose Vorgänge, die in einem öffentlichen Ressourcenpool ausgeführt werden.

Slots werden pro Abrechnungskonto vergeben und mehrere Projekte können die gleiche Reservierung von Slots teilen.

BigQuery Verfügbare Slots Slots Gesamtzahl der für das Projekt verfügbaren Slots.

Wenn das Projekt eine Slotreservierung mit anderen Projekten teilt, werden die Slots, die von den anderen Projekten verwendet werden, nicht dargestellt.

BigQuery-Dataset Gespeicherte Byte Byte Im Dataset gespeicherte Byte: Für die 100 größten Tabellen im Dataset werden die gespeicherten Byte für jede einzelne Tabelle (nach Name) angezeigt. Alle zusätzlichen Tabellen im Dataset (über die 100 größten hinaus) werden als einzelne Summe gemeldet und der Tabellenname für die Zusammenfassung ist eine leere Zeichenfolge.
BigQuery-Dataset Tabellen Tabellen Anzahl der Tabellen im Dataset
BigQuery-Dataset Hochgeladene in Rechnung gestellte Byte Byte pro Minute Anzahl der in eine beliebige Tabelle des Datasets hochgeladenen, in Rechnung gestellten Byte
BigQuery-Dataset Hochgeladene Byte Byte pro Minute Anzahl der in eine beliebige Tabelle des Datasets hochgeladenen Byte

Die Anzahl der hochgeladenen, in Rechnung gestellten Byte und die Anzahl der hochgeladenen Byte kann aus verschiedenen Gründen unterschiedlich sein.

  • Es gibt einen Mindestabrechnungsbetrag. Wenn die von Ihnen gescannten Byte unter dem Betrag liegen, sind sie kostenlos.
  • Wenn Ihr Konto ein damit verbundenes Guthaben aufweist, können sich diese Messwerte unterscheiden.
BigQuery-Dataset Hochgeladene Zeilen Zeilen pro Minute Anzahl der in eine beliebige Tabelle des Datasets hochgeladenen Datensätze.

Bekannte Probleme

  • Wenn keine Abfragen ausgeführt werden, werden für zugewiesene Slots oder verfügbare Slots oder für die zu einer beliebigen Abfrage zugehörigen Variablen keine Daten zurückgegeben. Verkleinern Sie die Anzeige, um Daten sehen zu können.

  • Falls Abfragen sowohl in den USA als auch in der EU ausgeführt werden, können die zugewiesenen und verfügbaren Slots falsch sein.

  • Zugewiesene Slots werden in einem Zeitfenster als Mittelwert gemeldet. (Die Breite des Zeitfensters hängt von der Zoomstufe des Diagramms ab). Das Vergrößern und Verkleinern kann den Wert der zugewiesenen Slots ändern. Das Vergrößern des Zeitfensters auf 1 Std. oder weniger zeigt den tatsächlichen Wert der zugewiesenen Slots. In diesem Bereich bedeutet jede auf dem Diagramm sichtbare Zeitangabe avg(slots allocated) = slots allocated.

  • Die Daten in den Cloud Monitoring-Diagrammen betreffen nur das ausgewählte Projekt. Das Monitoring mehrerer Projekte ist derzeit nicht verfügbar.