Dashboards, Diagramme und Benachrichtigungen erstellen
In diesem Dokument wird beschrieben, wie mit Cloud Monitoring Diagramme und Benachrichtigungen zum Monitoring von BigQuery-Ressourcen erstellt werden.
Hinweis
Für die Verwendung von Monitoring benötigen Sie Folgendes:
- Ein Cloud-Rechnungskonto
- Ein BigQuery-Projekt mit aktivierter Abrechnungsfunktion
Wenn Sie die Kurzanleitung zur Verwendung der Google Cloud -Konsole abschließen, haben Sie beides.
Dashboards, Diagramme und Benachrichtigungen ansehen und erstellen
Cloud Monitoring-Dashboard aufrufen
So verwenden Sie Cloud Monitoring zur Überwachung Ihres BigQuery-Projekts:
Rufen Sie in der Google Cloud Console die Seite Monitoring auf.
Wählen Sie den Namen Ihres Projekts aus, wenn er nicht bereits oben auf der Seite ausgewählt ist.
Die BigQuery-Ressourcen rufen Sie mit Dashboards > BigQuery auf. Auf der eingeblendeten Seite finden Sie eine Liste von konfigurierbaren Tabellen, Ereignissen und Vorfallberichten sowie Diagramme von Projekt- oder Dataset-Messwerten.
Verfügbare und zugewiesene Slots visualisieren
Zum Visualisieren der verfügbaren und Ihrem Projekt zugewiesenen Slots rufen Sie das Dashboard für BigQuery auf, das unter Cloud Monitoring-Dashboard aufrufen beschrieben wird:
Rufen Sie in der Google Cloud Console die Seite Monitoring auf.
Wählen Sie Dashboards > BigQuery aus.
Scrollen Sie im Cloud Monitoring-Dashboard für BigQuery zum Diagramm Slot-Nutzung.
Das Diagramm Slot-Nutzung wird sowohl auf dem standardmäßigen Cloud Monitoring-Haupt-Dashboard als auch auf dem Cloud Monitoring-Dashboard für BigQuery eingeblendet.
Dashboard und Diagramm erstellen
Stellen Sie die von Cloud Monitoring erfassten Messwerte in eigenen Diagrammen und Dashboards dar:
Rufen Sie in der Google Cloud Console die Seite Monitoring auf.
Wählen Sie Dashboards > Dashboard erstellen aus.
Klicken Sie auf Diagramm hinzufügen. Die Seite "Diagramm hinzufügen" wird angezeigt:
Wählen Sie in den Feldern Ressourcentyp und Messwert suchen Folgendes aus:
- Wählen Sie für die Drop-down-Liste Ressourcentyp die Option Global aus. Unter Umständen müssen Sie die Liste Ressourcentypen erweitern, damit die Option Global angezeigt wird.
- Wählen Sie für die Drop-down-Liste Messwert die Option Ausführungszeit der Abfrage aus.
In den Feldern des Bereichs Aggregation legen Sie fest, wie die Ausführungszeiten angezeigt werden. Sie können die Standardeinstellungen für diese Felder ändern.
Klicken Sie auf Speichern.
Kontingentnutzung und -limits aufrufen
In Cloud Monitoring können Sie Messwerte für die Kontingentnutzung und -limits aufrufen:
Rufen Sie in der Google Cloud Console die Seite Monitoring auf.
Wählen Sie im Navigationsbereich
Metrics Explorer aus.
Wählen Sie in der Symbolleiste Explorer > Konfiguration aus.
Klicken Sie im Abschnitt Ressource und Messwert auf Messwert auswählen.
Wählen Sie Nutzerkontingent > Kontingent > Kontingentlimit aus und klicken Sie dann auf Übernehmen.
Klicken Sie auf
Filter hinzufügen und wählen Sie im Menü Label die Option limit_name aus.Wählen Sie im Menü Wert das Kontingent aus, für das Sie die Messwerte aufrufen möchten.
Benachrichtigung erstellen
Verwenden Sie die folgenden Einstellungen, um eine Benachrichtigungsrichtlinie zu erstellen, die Sie benachrichtigt, wenn das 99. Perzentil der Ausführungszeit einer BigQuery-Anfrage einen benutzerdefinierten Grenzwert überschreitet:
Neue Bedingung Feld |
Wert |
---|---|
Ressource und Messwert | Wählen Sie im Menü Ressourcen die Option BigQuery-Projekt aus. Wählen Sie im Menü Messwertkategorien die Option Abfrage aus. Wählen Sie im Menü Messwerte die Option Ausführungszeiten für Abfragen aus. |
Filter | |
Über Zeitreihen Zeitreihen gruppieren nach |
priority |
Über Zeitreihen hinweg Zeitreihenaggregation |
99th percentile |
Rollierendes Zeitfenster | 5 m |
Funktion für rollierendes Zeitfenster | sum |
Benachrichtigungstrigger konfigurieren Feld |
Wert |
---|---|
Bedingungstyp | Threshold |
Benachrichtigungstrigger | Any time series violates |
Grenzwertposition | Above threshold |
Grenzwert | Sie legen diesen Wert fest. Wir empfehlen jedoch einen Grenzwert von 60 Sekunden. |
Zeitfenster noch einmal testen | most recent value |
Verwenden Sie die folgende Konfiguration für die Benachrichtigungsrichtlinie, um eine Benachrichtigungsrichtlinie zu erstellen, die ausgelöst wird, wenn die insgesamt abgerechneten gescannten Byte für ein BigQuery-Projekt einen benutzerdefinierten Grenzwert überschreiten.
Neue Bedingung Feld |
Wert |
---|---|
Ressource und Messwert |
Wählen Sie im Menü Ressourcen die Option BigQuery-Projekt aus. Wählen Sie im Menü Messwertkategorien die Option Abfrage aus. Wählen Sie im Menü Messwerte die Option Abgerechnete gescannte Bytes pro Anweisung aus. |
Filter | (Für eine projektweite Benachrichtigung ist kein Filter erforderlich.) |
Über Zeitreihen Zeitreihen gruppieren nach |
(Leer lassen, um alle Zeitachsen zusammenzufassen) |
Über Zeitreihen hinweg Zeitreihenaggregation |
sum |
Rollierendes Zeitfenster |
5 m |
Funktion für rollierendes Zeitfenster |
sum
|
Benachrichtigungstrigger konfigurieren Feld |
Wert |
---|---|
Bedingungstyp |
Threshold
|
Benachrichtigungstrigger |
Any time series violates
|
Grenzwertposition |
Above threshold
|
Grenzwert |
Sie legen diesen Wert fest. Wenn Sie beispielsweise eine Benachrichtigung auslösen möchten, wenn die Nutzung 1 TiB überschreitet, geben Sie 1000000000000 ein.
|
Die Benachrichtigungsrichtlinie überwacht die insgesamt gescannten Byte. Sie können jedoch einen Schwellenwert basierend auf einem bestimmten Budget festlegen. Dazu müssen Sie zuerst den gewünschten Kostenschwellenwert in die entsprechende Anzahl von Byte umrechnen. Die Formel basiert auf den Preisen für On-Demand-Computing von BigQuery. Weitere Informationen finden Sie unter On-Demand-Preise für Compute.
Mit der folgenden Formel können Sie Ihren Kostenschwellenwert in Byte umrechnen:
Threshold in Bytes = (Target Amount / (price per TiB)) * 1,000,000,000,000
Beispiel: Benachrichtigung auslösen, wenn die Nutzung 100 $übersteigt
Angenommen, Sie möchten benachrichtigt werden, wenn die Abfragekosten Ihres Projekts 100$ überschreiten.
- Entsprechendes Datenvolumen in TiB berechnen:
$100 / (price per TiB) = Equivalent Data Volume in TiB
- Datenvolumen in Byte umrechnen:
(Equivalent Data Volume in TiB) * 1,000,000,000,000 = Threshold Value in Bytes
- Grenzwert festlegen:
Geben Sie im Bereich Trigger für Benachrichtigungen konfigurieren Ihrer Richtlinie den „Grenzwert in Byte“ als Grenzwert ein.
Die Benachrichtigungsrichtlinie wird jetzt ausgelöst, wenn die insgesamt abgerechneten gescannten Byte im gleitenden Fenster ungefähr 100$ an On-Demand-Abfragekosten entsprechen.
Messwerte, die visualisiert werden können
Folgende Messwerte sind verfügbar, bis zu mehreren Stunden zeitversetzt.
Ressourcentyp | Name | Einheiten | Beschreibung |
---|---|---|---|
BigQuery | Scanned bytes |
Byte pro Minute | Anzahl gescannter Byte. |
BigQuery | Scanned bytes billed |
Byte pro Minute | Anzahl der zur Abrechnung gesendeten Byte bei Verwendung des On-Demand-Analysemodells. Die Anzahl der gescannten Byte und die Anzahl der gescannten in Rechnung gestellten Byte kann sich unterscheiden, da die Gebühren aufgerundet werden, wobei eine Mindestmenge an verarbeiteten Daten pro Abfrage gilt. |
BigQuery | BI Engine Query Fallback Count (Preview) |
Abfragen | Die Anzahl der Abfragen, die BI Engine nicht als Rate verwendet haben. Sie können die Option Gruppieren nach auf reason festlegen, um die Anzahl in verschiedene Fallback-Gründe zu unterteilen, einschließlich:
|
BigQuery | Query count |
Abfragen | Abfragen während der Bearbeitung. |
BigQuery | Query execution count (Preview) |
Abfragen | Die Anzahl der ausgeführten Abfragen. |
BigQuery |
Query execution times
|
Sekunden | Nicht im Cache gespeicherte Abfrageausführungszeiten. |
BigQuery | Slots used by project |
Slots | Anzahl der BigQuery-Slots, die für Abfragejobs im Projekt zugewiesen sind. Slots werden pro Abrechnungskonto vergeben; mehrere Projekte können die gleiche Reservierung von Slots teilen. |
BigQuery | Slots used by project and job type |
Slots | Anzahl der Slots, die dem Projekt zu jeder Zeit zugewiesen sind, nach Jobtyp getrennt.
Dies entspricht auch der Anzahl der von diesem Projekt genutzten Slots. Lade- und Exportjobs sind kostenlose Vorgänge, die in einem öffentlichen Ressourcenpool ausgeführt werden.
Slots werden pro Abrechnungskonto vergeben; mehrere Projekte können die gleiche Reservierung von Slots teilen. |
BigQuery | Slots used by project, reservation, and job type |
Slots | Anzahl der dem Projekt zugewiesenen BigQuery-Slots. Die Slot-Zuweisung kann nach Reservierungs- und Jobtyp aufgeschlüsselt werden. |
BigQuery | Total slots |
Slots | Gesamtzahl der für das Projekt verfügbaren Slots. Wenn das Projekt eine Slotreservierung mit anderen Projekten teilt, werden die Slots, die von den anderen Projekten verwendet werden, nicht dargestellt. |
BigQuery | Slots used across projects in reservations |
Slots | Anzahl der BigQuery-Slots, die Projekten in der Reservierung zugewiesen sind. Beachten Sie, dass die Messwertdaten nur gemeldet werden, während der Reservierung mindestens ein Projekt zugewiesen wurde und Slots genutzt werden. Alternativ können Sie Reservierungsinformationen aus INFORMATION_SCHEMA abfragen.
|
BigQuery | Slots used by project in reservation |
Slots | Anzahl der BigQuery-Slots, die dem Projekt in der Reservierung zugewiesen sind. |
Kontinuierlicher BigQuery-Job | Estimated backlog logical bytes |
Byte | Die Anzahl der Byte im Rückstand für jede Phase des kontinuierlichen Jobs. |
Kontinuierlicher BigQuery-Job | Estimated backlog records |
Einträge | Die geschätzte Anzahl der Rückstandseinträge für jede Phase des kontinuierlichen Jobs. |
Kontinuierlicher BigQuery-Job | Estimated bytes processed |
Byte | Die geschätzte Anzahl der Bytes, die für jede Phase des kontinuierlichen Jobs verarbeitet werden. |
Kontinuierlicher BigQuery-Job | Output watermark |
Zeitstempel | Der letzte Zeitstempel in Mikrosekunden seit der Epoche, bis zu dem alle Daten von dieser Phase des kontinuierlichen Jobs verarbeitet wurden. |
Kontinuierlicher BigQuery-Job | Records read |
Einträge | Die Anzahl der Eingabedatensätze, die für jede Phase des kontinuierlichen Jobs gelesen wurden. |
Kontinuierlicher BigQuery-Job | Records written |
Einträge | Die Anzahl der Ausgabedatensätze, die für jede Phase des kontinuierlichen Jobs geschrieben wurden. |
Kontinuierlicher BigQuery-Job | Slots used |
Slotmillisekunden | Die gesamten Slot-Millisekunden, die vom kontinuierlichen Job verwendet wurden. |
BigQuery-Dataset | Stored bytes |
Byte | Im Dataset gespeicherte Byte: Für die 100 größten Tabellen im Dataset werden die gespeicherten Byte für jede einzelne Tabelle (nach Name) angezeigt. Alle zusätzlichen Tabellen im Dataset (über die 100 größten hinaus) werden als einzelne Summe gemeldet und der Tabellenname für die Zusammenfassung ist eine leere Zeichenfolge. |
BigQuery-Dataset | Table count |
Tabellen | Anzahl der Tabellen im Dataset |
BigQuery-Dataset | Uploaded bytes |
Byte pro Minute | Anzahl der in eine beliebige Tabelle des Datasets hochgeladenen Byte. |
BigQuery-Dataset | Hochgeladene Zeilen | Zeilen pro Minute | Anzahl der in eine beliebige Tabelle des Datasets hochgeladenen Datensätze. |
Eine vollständige Liste der verfügbaren Google Cloud -Messwerte finden Sie unter Google Cloud -Messwerte.
Bekannte Probleme
Wenn keine Abfragen ausgeführt werden, werden für zugewiesene Slots, verfügbare Slots und abfragebezogene Variablen keine Daten zurückgegeben. Verkleinern Sie die Anzeige, um Daten sehen zu können.
Falls Abfragen sowohl in den USA als auch in der EU ausgeführt werden, können die zugewiesenen und verfügbaren Slots falsch sein.
Zugewiesene Slots werden in einem Zeitfenster als Mittelwert gemeldet. (Die Breite des Zeitfensters hängt von der Zoomstufe des Diagramms ab). Das Vergrößern und Verkleinern kann den Wert der zugewiesenen Slots ändern. Das Vergrößern des Zeitfensters auf 1 Std. oder weniger zeigt den tatsächlichen Wert der zugewiesenen Slots. In diesem Bereich bedeutet jede auf dem Diagramm sichtbare Zeitangabe
avg(slots allocated) = slots allocated
.Die Daten in den Cloud Monitoring-Diagrammen betreffen nur das ausgewählte Projekt.
Messwerte sind sofortige Werte, die als Stichproben zu einem bestimmten Zeitpunkt abgerufen werden und Datenpunkte zwischen Stichprobenintervallen verpassen können. Beispielsweise wird der Messwert für die Jobanzahl jede Minute erfasst. Der Wert entspricht der Anzahl der Jobs zu einem bestimmten Zeitpunkt, nicht der maximalen Anzahl von Jobs innerhalb der gesamten Minute.