Cloud Monitoring

Cloud Monitoring offre maggiore visibilità su prestazioni, uptime e integrità complessiva delle applicazioni basate su cloud. Google Cloud Observability raccoglie e importa metriche, eventi e metadati da Servizi Dataproc Metastore per generare insight utilizzando le dashboard e grafici.

Accedi alle metriche del servizio in Monitoring

Le metriche delle risorse di servizio Dataproc Metastore vengono sui servizi Dataproc Metastore. Utilizzo di Monitoring per visualizzare queste metriche.

Puoi accedere a Monitoraggio dalla console Google Cloud o utilizzando l'API Monitoring.

Console

  1. Nella console Google Cloud, vai alla Cloud Monitoring > Pagina Esplora metriche:

    Vai alla pagina Esplora metriche

  2. Nella sezione "Trova tipo di risorsa e metrica" nell'elenco a discesa, seleziona la risorsa Dataproc Metastore Service.

  3. Fai di nuovo clic nella casella di immissione, quindi seleziona una metrica dall'elenco a discesa. Se passi il mouse sopra il nome della metrica, vengono visualizzate le relative informazioni.

Puoi selezionare filtri, raggruppare per etichette delle metriche, eseguire aggregazioni e selezionare opzioni di visualizzazione dei grafici.

REST

Puoi utilizzare timeSeries.list di Monitoring API per acquisire ed elencare le metriche definite da un'espressione filter. Utilizza il modello Prova questa API nella pagina dell'API per inviare una richiesta API e visualizzare la risposta.

Metriche del servizio Dataproc Metastore in Monitoraggio

Metriche di Dataproc Metastore. Fasi di lancio di queste metriche: GA BETA

Il "tipo di metrica" le stringhe in questa tabella devono essere precedute dal prefisso con metastore.googleapis.com/. Il prefisso è stato omesso dalle voci nella tabella. Quando esegui una query su un'etichetta, utilizza il prefisso metric.labels.; della ad esempio metric.labels.LABEL="VALUE".

Tipo di metrica Fase di lancio (livelli della gerarchia delle risorse)
Nome visualizzato
Tipo, Tipo, Unità
Risorse monitorate		 Descrizione
Etichette
federation/health BETA  (project)
Stato del servizio di federazione
GAUGE, INT64, 1
metastore.googleapis.com/Federation 		Lo stato del servizio Dataproc Metastore federato.
version: La versione Hive Metastore del servizio.
federation/server/request_count BETA  (project)
Numero di richieste di servizio di federazione
DELTA, INT64, {request}
metastore.googleapis.com/Federation 		Il numero di richieste inviate al servizio Dataproc Metastore federato.
method_name: Il nome del metodo di richiesta.
status: Stato finale della richiesta, uno dei seguenti: [riuscito, errore_client, errore_server].
version: La versione del servizio Hive Metastore.
service/grpc/finished_requests_count BETA  (project)
Conteggio richieste gRPC completate
DELTA, INT64, 1
metastore.googleapis.com/Service 		Il numero di richieste completate dal servizio GRPC Dataproc Metastore.
tier: Livello di servizio o dimensione dell'istanza del servizio, ad esempio ENTERPRISE.
version: La versione del servizio Hive Metastore.
status: lo stato della richiesta, ad esempio "BAD_REQUEST".
method_name: il nome del metodo di richiesta.
service/grpc/received_bytes_count BETA (progetto)
gRPC byte ricevuti
DELTA, INT64, By
metastore.googleapis.com/Service 		Numero di byte ricevuti dal servizio Dataproc Metastore.
tier: Il livello di servizio o le dimensioni dell'istanza del servizio.
version: La versione Hive Metastore del servizio.
service/grpc/request_latencies BETA  (project)
Tempi di latenza delle richieste gRPC
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribuzione delle latenze delle richieste gRPC per un servizio Dataproc Metastore.
tier: Il livello di servizio o le dimensioni dell'istanza del servizio.
version: La versione del servizio Hive Metastore.
status: lo stato della richiesta, ad esempio "BAD_REQUEST".
method_name: il nome del metodo di richiesta.
service/grpc/sent_bytes_count BETA (progetto)
byte gRPC inviati
DELTA, INT64, By
metastore.googleapis.com/Service 		Numero di byte inviati dal servizio Dataproc Metastore.
tier: Livello di servizio o dimensione dell'istanza del servizio.
version: La versione Hive Metastore del servizio.
service/grpc/started_requests_count BETA (progetto)
Conteggio di richieste avviate gRPC
DELTA, INT64, 1
metastore.googleapis.com/Service 		Il numero di richieste ricevute e avviate dal servizio GRPC Dataproc Metastore.
tier: Livello di servizio o dimensione dell'istanza del servizio.
version: La versione del servizio Hive Metastore.
method_name: Il nome del metodo di richiesta.
service/grpc_client/finished_requests_count BETA  (project)
Conteggio richieste client gRPC completate
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Numero totale di RPC completate sul client, indipendentemente dal fatto che siano riuscite o meno.
status: lo stato della richiesta, ad esempio "BAD_REQUEST".
method_name: il nome del metodo di richiesta.
service/grpc_client/received_bytes_count BETA (progetto)
Byte client gRPC ricevuti
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Numero di byte ricevuti dal client gRPC.
service/grpc_client/request_latencies BETA  (project)
Tempi di latenza delle richieste client gRPC
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Distribuzione delle latenze delle richieste gRPC per un servizio Dataproc Metastore.
status: Lo stato della richiesta, ad esempio "BAD_REQUEST".
method_name: Il nome del metodo di richiesta.
service/grpc_client/sent_bytes_count BETA (progetto)
byte client gRPC inviati
CUMULATIVE, INT64, By
metastore.googleapis.com/Service 		Numero di byte inviati dal client gRPC.
service/grpc_client/started_requests_count BETA  (project)
Conteggio richieste client gRPC avviate
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service 		Il numero di richieste avviate dal client gRPC.
method_name: Il nome del metodo di richiesta.
service/health GA (progetto)
Integrità del servizio
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Lo stato del servizio Dataproc Metastore.
tier: Il livello di servizio o la dimensione dell'istanza del servizio, ad esempio ENTERPRISE.
version: La versione del servizio Hive Metastore.
release_tag: Tag della release di Dataproc Metastore, compilato dal backend del servizio e che può cambiare nel corso della vita del servizio.
service/metadata/bytes_used BETA (progetto)
Dimensioni dei metadati archiviati nel servizio Dataproc Metastore.
GAUGE, INT64, By
metastore.googleapis.com/Service 		La quantità di dati archiviati nel database di backend del servizio.
version: La versione Hive Metastore del servizio.
database_type: Il tipo di database, uno dei valori [SQL, Spanner].
service/migration/replication_lag BETA (progetto)
Latenza di elaborazione della pipeline di replica in secondi.
GAUGE, DOUBLE, s
metastore.googleapis.com/Service 		Durata massima attuale in secondi necessaria per replicare i dati in Dataproc Metastore.
migration_id: l'ID migrazione.
service/migration/write_throughput BETA (progetto)
Velocità effettiva di scrittura del database di destinazione.
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service 		Throughput di scrittura corrente nel database Dataproc Metastore in cui vengono copiati i dati durante la fase di replica.
migration_id: L'ID migrazione.
service/multi_region/health GA (progetto)
Integrità dei servizi multiregionali
GAUGE, INT64, 1
metastore.googleapis.com/Service 		Integrità del servizio Dataproc Metastore multiregionale.
version: La versione del servizio Hive Metastore.
release_tag: Tag della release di Dataproc Metastore, compilato dal backend del servizio e che può cambiare nel corso della vita del servizio.
service_region: La regione costituente in cui è ospitato il servizio Dataproc Metastore.
scaling_factor: Fattore di scala del servizio, uno tra [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/multi_region/request_count GA (progetto)
Conteggio di richieste di servizi multiregionali
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Il numero di richieste inviate al servizio Dataproc Metastore in più regioni.
method_name: Il nome del metodo di richiesta.
version: La versione Hive Metastore del servizio.
service_region: La regione costituente in cui è ospitato il servizio Dataproc Metastore.
scaling_factor: Fattore di scala del servizio, uno tra [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/multi_region/request_latencies GA (progetto)
Latenze delle richieste di servizi multiregionali
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Le latenze delle richieste inviate al servizio Dataproc Metastore multiregionale.
method_name: il nome del metodo di richiesta.
version: La versione del servizio Hive Metastore.
service_region: La regione costituente in cui è ospitato il servizio Dataproc Metastore.
scaling_factor: Fattore di scala del servizio, uno tra [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
service/query_metadata/request_count BETA  (project)
Conteggio richieste interfaccia amministratore
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Il numero di richieste all'interfaccia amministrazione.
database_type: Il tipo di database, uno tra [SQL, Spanner].
code: Il codice di stato gRPC.
service/query_metadata/request_latencies BETA (progetto)
Latenza delle richieste dell'interfaccia di amministrazione
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service 		Latenza della richiesta end-to-end per le richieste dell'interfaccia di amministrazione.
database_type: Il tipo di database, uno tra [SQL, Spanner].
code: Il codice di stato gRPC.
service/request_count GA  (project)
Conteggio richieste
DELTA, INT64, {request}
metastore.googleapis.com/Service 		Il numero di richieste inviate al servizio Dataproc Metastore.
method_name: Il nome del metodo di richiesta.
version: La versione Hive Metastore del servizio.
service/scheduled_backups/backup_count BETA (progetto)
Numero di backup pianificati
DELTA, INT64, 1
metastore.googleapis.com/Service 		Il numero di backup pianificati attualmente archiviati per il servizio.
state: Stato del backup, uno dei valori [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Il tipo di database, uno tra [SQL, Spanner].
version: La versione Hive Metastore del servizio.
service/scheduled_backups/last_backup_duration BETA (progetto)
Backup pianificati - Durata ultimo backup
GAUGE, INT64, s
metastore.googleapis.com/Service 		La durata in secondi dell'ultimo backup pianificato riuscito. Campionamento eseguito ogni 60 secondi. Dopo il campionamento, i dati non sono visibili per un massimo di 120 secondi.
state: Stato del backup, uno dei valori [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Il tipo di database, uno tra [SQL, Spanner].
version: La versione Hive Metastore del servizio.
service/scheduled_backups/last_backup_size BETA (progetto)
Richiesta di backup pianificati - Dimensioni ultimo backup
GAUGE, INT64, By
metastore.googleapis.com/Service 		Le dimensioni dell'ultimo backup pianificato riuscito in byte. Campionamento eseguito ogni 60 secondi. Dopo il campionamento, i dati non sono visibili per un massimo di 120 secondi.
state: Stato del backup, uno dei valori [SUCCEEDED, FAILED, IN_PROGRESS].
database_type: Il tipo di database, uno tra [SQL, Spanner].
version: La versione Hive Metastore del servizio.

Tabella generata il 16-10-2024 alle ore 13:48:08 UTC.

Creare una dashboard Monitoring personalizzata

Puoi creare una dashboard di monitoraggio personalizzata che mostri i grafici delle metriche selezionate del servizio Dataproc Metastore.

  1. Seleziona + CREA DASHBOARD dalla pagina Panoramica delle dashboard del monitoraggio.

  2. Specifica un nome per la dashboard.

  3. Nel menu in alto a destra, fai clic su Aggiungi grafico per aprire la finestra Aggiungi grafico.

  4. Seleziona Dataproc Metastore Service come tipo di risorsa.

  5. Seleziona una o più metriche e proprietà di grafici e metriche, quindi fai clic su Salva per salvare il grafico.

  6. Se vuoi, puoi aggiungere altri grafici alla dashboard.

  7. Per salvare la dashboard, fai clic su Salva. Il suo titolo viene visualizzato nella pagina Panoramica delle dashboard.

Puoi visualizzare, aggiornare ed eliminare i grafici della dashboard dalla pagina di visualizzazione della dashboard.

Utilizzare gli avvisi di Monitoring

Puoi creare un avviso di Monitoring per ricevere una notifica La metrica del servizio o del job Dataproc Metastore attraversa un soglia.

Crea un avviso

  1. Nella console Google Cloud, apri Avvisi di monitoraggio.

  2. Per aprire il modulo Crea nuovo criterio di avviso, fai clic su + CREA NORMA.

  3. Definisci un avviso aggiungendo condizioni di avviso, trigger dei criteri e notifiche i canali di notifica e la documentazione.

  4. Seleziona AGGIUNGI CONDIZIONE per aprire il modulo della condizione di avviso con la Scheda Metrica selezionata.

  5. Compila i campi per definire una condizione di avviso, poi fai clic su AGGIUNGI.

  6. Dopo aver aggiunto la condizione di avviso, completa il criterio impostando i canali di notifica, gli attivatori dei criteri, la documentazione e il nome del criterio di avviso.

Visualizza avvisi

Quando un avviso viene attivato da una condizione di soglia della metrica, Monitoring crea un incidente e un evento corrispondente. Puoi visualizzare gli incidenti dalla pagina Avvisi di monitoraggio nella console Google Cloud. Se hai definito un meccanismo di notifica nel criterio di avviso, ad esempio una notifica via email o SMS, Monitoring invia anche una notifica dell'incidente.

Passaggi successivi