Cloud Monitoring

Cloud Monitoring bietet Einblick in die Leistung, Verfügbarkeit und den Gesamtstatus cloudbasierter Anwendungen. Google Cloud Observability erfasst und speichert Messwerte, Ereignisse und Metadaten aus Dataproc Metastore-Diensten, um mithilfe von Dashboards und Diagrammen Informationen zu generieren.

Auf Dienstmesswerte in Monitoring zugreifen

Dataproc Metastore-Dienst-Ressourcenmesswerte werden automatisch auf Dataproc Metastore-Diensten aktiviert. Verwenden Sie Monitoring, um sich diese Messwerte anzusehen.

Sie können über die Google Cloud Console oder die Monitoring API auf Monitoring zugreifen.

Console

  1. Wechseln Sie in der Google Cloud Console zur Cloud Monitoring > Seite „Metrics Explorer“:

    Seite „Metrics Explorer“ aufrufen

  2. Wählen Sie aus der Drop-down-Liste „Ressourcentyp und Messwert suchen“ die Ressource Dataproc Metastore Service aus.

  3. Klicken Sie noch einmal in das Eingabefeld und wählen Sie dann einen Messwert aus der Drop-down-Liste aus. Wenn Sie den Mauszeiger auf den Namen des Messwerts bewegen, werden Informationen zu diesem Messwert angezeigt.

Sie können auch Filter auswählen, Gruppierungen gemäß dem Messwertlabel vornehmen, Aggregationen ausführen und Optionen zur Diagrammanzeige auswählen.

REST

Mit der Monitoring API timeSeries.list können Sie Messwerte erfassen und auflisten, die durch einen Filterausdruck mit filter definiert werden. Verwenden Sie die Vorlage API testen auf der API-Seite, um eine API-Anfrage zu senden und die Antwort aufzurufen.

Dataproc Metastore-Dienstmesswerte in Monitoring

Messwerte aus Dataproc Metastore Einführungsphasen dieser Messwerte: BETA GA

Den Strings vom Typ "metric type" in dieser Tabelle muss metastore.googleapis.com/ vorangestellt werden. Dieses Präfix wurde in den Einträgen der Tabelle weggelassen. Verwenden Sie beim Abfragen eines Labels das Präfix metric.labels.. Beispiel: metric.labels.LABEL="VALUE".

Messwerttyp Startphase (Ebenen der Ressourcenhierarchie)
Anzeigename
Art, Typ, Einheit
Überwachte Ressourcen		 Beschreibung
Labels
federation/health BETA  (Projekt)
Föderationsdiensteinheit – Status
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		Die Betriebsbereitschaft des föderierten Dataproc Metastore-Dienstes.
version: Die Hive Metastore-Version des Dienstes.
federation/server/request_count BETA (Projekt)
Anzahl der Föderationsdienstanfragen
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Die Anzahl der Anfragen, die an den föderierten Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
status: Endstatus der Anfrage, einer der folgenden Werte: [success, client_error, server_error].
version: Die Hive-Metastore-Version des Dienstes.
service/grpc/finished_requests_count BETA (Projekt)
Anzahl der abgeschlossenen gRPC-Anfragen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der vom GRPC Dataproc Metastore-Dienst abgeschlossenen Anfragen.
tier: Dienststufe oder Instanzgröße des Dienstes, z. B. ENTERPRISE.
version: Die Hive-Metastore-Version des Dienstes.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc/received_bytes_count BETA  (Projekt)
Empfangene gRPC-Byte
DELTA, INT64, By
metastore.googleapis.com/Service 		Anzahl der Bytes, die vom Dataproc Metastore-Dienst empfangen wurden.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive-Metastore-Version des Dienstes.
service/grpc/request_latencies BETA (Projekt)
gRPC-Anfragelatenzen
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Verteilung von gRPC-Anfragelatenzen für einen Dataproc Metastore-Dienst.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive-Metastore-Version des Dienstes.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc/sent_bytes_count BETA (Projekt)
Gesendete gRPC-Byte
DELTA, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom Dataproc Metastore-Dienst gesendeten Byte.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive-Metastore-Version des Dienstes.
service/grpc/started_requests_count BETA (Projekt)
Anzahl der gestarteten gRPC-Anfragen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die vom gRPC Dataproc-Metastore-Dienst empfangen und gestartet wurden.
tier: Dienststufe oder Instanzgröße des Dienstes.
version: Die Hive-Metastore-Version des Dienstes.
method_name: Der Name der Anfragemethode.
service/grpc_client/finished_requests_count BETA (Projekt)
Anzahl der abgeschlossenen gRPC-Clientanfragen
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Gesamtzahl der auf dem Client abgeschlossenen RPCs, unabhängig von Erfolg oder Misserfolg.
status: Der Status der Anfrage, z. B. "BAD_REQUEST".
method_name: Der Name der Anfragemethode.
service/grpc_client/received_bytes_count BETA  (Projekt)
Empfangene gRPC-Client-Byte
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom gRPC-Client empfangenen Byte.
service/grpc_client/request_latencies BETA  (Projekt)
Latenzen von gRPC-Clientanfragen
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Verteilung von gRPC-Anfragelatenzen für einen Dataproc Metastore-Dienst.
status: Der Status der Anfrage, z. B. „BAD_REQUEST“.
method_name: Der Name der Anfragemethode.
service/grpc_client/sent_bytes_count BETA (Projekt)
Gesendete gRPC-Clientbyte
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Anzahl der vom gRPC-Client gesendeten Byte.
service/grpc_client/started_requests_count BETA (Projekt)
Anzahl der gestarteten gRPC-Clientanfragen
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der vom gRPC-Client gestarteten Anfragen.
method_name: Der Name der Anfragemethode.
service/health GA  (project)
Dienstbereitschaft
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Die Betriebsbereitschaft des Dataproc Metastore-Dienstes.
tier: Dienststufe oder Instanzgröße des Dienstes, z. B. ENTERPRISE.
version: Die Hive Metastore-Version des Dienstes.
release_tag: Dataproc Metastore-Release-Tag, das vom Dienst-Backend ausgefüllt wird und sich während der Lebensdauer des Dienstes ändern kann.
service/metadata/bytes_used BETA  (project)
Größe der im Dataproc Metastore-Dienst gespeicherten Metadaten.
GAUGE, INT64, By
metastore.googleapis.com/Service 		Die Menge der Daten, die in der Backend-Datenbank des Dienstes gespeichert sind.
version: Die Hive Metastore-Version des Dienstes.
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
service/migration/replication_lag BETA  (Projekt)
Verarbeitungslatenz der Replikationspipeline in Sekunden.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		Die aktuelle maximale Dauer in Sekunden, die zum Replizieren von Daten in Dataproc Metastore benötigt wird.
migration_id: Die Migrations-ID.
service/migration/write_throughput BETA  (project)
Schreibdurchsatz der Zieldatenbank.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		Aktueller Schreibdurchsatz in der Dataproc Metastore-Datenbank, in die die Daten während der Replikationsphase kopiert werden.
migration_id: Die Migrations-ID.
service/multi_region/health GA  (project)
Multiregionale Dienstbereitschaft
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Der Zustand des multiregionalen Dataproc Metastore-Dienstes.
version: Die Hive-Metastore-Version des Dienstes.
release_tag: Dataproc Metastore-Release-Tag, das vom Dienst-Backend ausgefüllt wird und sich während der Lebensdauer des Dienstes ändern kann.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Scaling factor of the service, one of [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_count GA  (project)
Anzahl der multiregionalen Serviceanfragen
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die an den multiregionalen Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
version: Die Hive Metastore-Version des Dienstes.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Scaling factor of the service, one of [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
service/multi_region/request_latencies Google Analytics (Projekt)
Multiregionale Latenzen von Dienstanfragen
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Die Latenzen der an den mehrregionalen Dataproc Metastore-Dienst gesendeten Anfragen.
method_name: Der Name der Anfragemethode.
version: Die Hive-Metastore-Version des Dienstes.
service_region: Die Region, in der der Dataproc Metastore-Dienst gehostet wird.
scaling_factor: Skalierungsfaktor des Dienstes: [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/query_metadata/request_count BETA (Projekt)
Anzahl der Anfragen auf der Admin-Oberfläche
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen an die Admin-Schnittstelle.
database_type: Der Datenbanktyp, einer der folgenden Werte: [SQL, Spanner].
code: Der gRPC-Statuscode.
service/query_metadata/request_latencies BETA  (project)
Latenz der Verwaltungsoberfläche
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Die End-to-End-Anfragelatenz für Anfragen an die Admin-Schnittstelle.
database_type: Der Datenbanktyp, einer der folgenden Werte: [SQL, Spanner].
code: Der gRPC-Statuscode.
service/request_count GA  (Projekt)
Anzahl der Anfragen
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Die Anzahl der Anfragen, die an den Dataproc Metastore-Dienst gesendet wurden.
method_name: Der Name der Anfragemethode.
version: Die Hive-Metastore-Version des Dienstes.
service/scheduled_backups/backup_count BETA (Projekt)
Anzahl der geplanten Sicherungen
DELTA, INT64, 1
metastore.googleapis.com/Service 		Die Anzahl der geplanten Sicherungen, die derzeit für den Dienst gespeichert sind.
state: Status der Sicherung, einer von [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, entweder [SQL, Spanner].
version: Die Hive Metastore-Version des Dienstes.
service/scheduled_backups/last_backup_duration BETA (Projekt)
Geplante Sicherungen – Letzte Sicherungsdauer
GAUGE, INT64, s
metastore.googleapis.com/Service 		Die Dauer der letzten erfolgreichen geplanten Sicherung in Sekunden. Alle 60 Sekunden wird eine Stichprobe erstellt. Nach der Stichprobe werden bis zu 120 Sekunden lang keine Daten angezeigt.
state: Status der Sicherung: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, einer der folgenden Werte: [SQL, Spanner].
version: Die Hive-Metastore-Version des Dienstes.
service/scheduled_backups/last_backup_size BETA  (project)
Anfrage für geplante Sicherungen – Größe der letzten Sicherung
GAUGE, INT64, By
metastore.googleapis.com/Service 		Die Größe der letzten erfolgreichen geplanten Sicherung in Byte. Alle 60 Sekunden wird eine Stichprobe erstellt. Nach der Stichprobe werden bis zu 120 Sekunden lang keine Daten angezeigt.
state: Status der Sicherung: [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Der Datenbanktyp, einer der folgenden Werte: [SQL, Spanner].
version: Die Hive Metastore-Version des Dienstes.

Die Tabelle wurde am 10.10.2024 um 16:45:27 UTC erstellt.

Benutzerdefiniertes Monitoring-Dashboard erstellen

Sie können ein benutzerdefiniertes Monitoring-Dashboard erstellen, das Diagramme ausgewählter Dataproc Metastore-Dienstmesswerte anzeigt.

  1. Wählen Sie + DASHBOARD ERSTELLEN auf der Monitoring-Seite Dashboard-Übersicht aus.

  2. Geben Sie einen Namen für das Dashboard an.

  3. Klicken Sie im Menü oben rechts auf Diagramm hinzufügen, um das Fenster „Diagramm hinzufügen“ zu öffnen.

  4. Wählen Sie als Ressourcentyp Dataproc Metastore Service aus.

  5. Wählen Sie einen oder mehrere Messwerte und Messwert- und Diagrammeigenschaften aus und klicken Sie dann auf Speichern, um das Diagramm zu speichern.

  6. Sie können Ihrem Dashboard nach Bedarf weitere Diagramme hinzufügen.

  7. Klicken Sie auf Speichern, um das Dashboard zu speichern. Sein Titel erscheint im Monitoring Dashboard-Übersicht.

Auf der Anzeigeseite des Dashboards können Sie Dashboard-Diagramme ansehen, aktualisieren und löschen.

Monitoring-Benachrichtigungen verwenden

Sie können eine Monitoring-Benachrichtigung erstellen, um informiert zu werden, wenn ein Dataproc Metastore-Dienst oder Jobmesswert einen bestimmten Grenzwert überschreitet.

Benachrichtigung erstellen

  1. Öffnen Sie in der Google Cloud Console Monitoring-Benachrichtigungen.

  2. Klicken Sie zum Öffnen des Formulars Neue Benachrichtigungsrichtlinie erstellen auf + RICHTLINIE ERSTELLEN.

  3. Definieren Sie eine Benachrichtigung, indem Sie Benachrichtigungsbedingungen, Trigger für Richtlinien, Benachrichtigungskanäle und Dokumentation hinzufügen.

  4. Wählen Sie BEDINGUNG HINZUFÜGE) aus, um das Formular für die Benachrichtigungsbedingung mit dem ausgewählten Tab "Messwert" zu öffnen.

  5. Füllen Sie die Felder aus, um eine Benachrichtigungsbedingung zu definieren, und klicken Sie dann auf HINZUFÜGEN.

  6. Nachdem Sie die Benachrichtigungsbedingung hinzugefügt haben, vervollständigen Sie die Benachrichtigungsrichtlinien, indem Sie Benachrichtigungskanäle, Trigger für Richtlinien, Dokumentation und den Namen der Benachrichtigungsrichtlinie festlegen.

Benachrichtigungen ansehen

Wenn eine Benachrichtigung durch eine Messwertschwellenbedingung ausgelöst wird, erstellt Monitoring einen Vorfall sowie ein entsprechendes Ereignis. Sie können Vorfälle auf der Seite Monitoring-Benachrichtigungen in der Google Cloud Console aufrufen. Wenn in der Benachrichtigungsrichtlinie eine Benachrichtigungsmethode wie E-Mail oder SMS festgelegt wurde, wird von Monitoring außerdem eine Benachrichtigung zu dem Vorfall gesendet.

Weitere Informationen