Cloud Monitoring

Cloud Monitoring offre visibilità su prestazioni, uptime e integrità complessiva delle applicazioni basate su cloud. La suite operativa di Google Cloud raccoglie e importa metriche, eventi e metadati dai cluster Dataproc, tra cui metriche HDFS, YARN, YARN e job per cluster, per generare insight tramite dashboard e grafici (consulta le metriche di Cloud Monitoring per Dataproc).

Utilizza le metriche del cluster Cloud Monitoring per monitorare le prestazioni e l'integrità dei cluster Dataproc.

• Consulta i prezzi di Cloud Monitoring per comprendere i tuoi costi.

• Per informazioni sulla conservazione dei dati delle metriche, consulta Monitoraggio di quote e limiti.

Metriche del cluster Dataproc

Dataproc raccoglie le metriche delle risorse del cluster che puoi visualizzare in Monitoring.

Le metriche del cluster Dataproc sono disponibili su Monitoring quando si utilizza la versione 1.2.22 o successiva di Dataproc.

Visualizza metriche del cluster

Puoi esaminare Monitoring dalla console Google Cloud o utilizzando l'API Monitoring.

Console

1. Dopo aver creato un cluster, vai a Monitoring nella console Google Cloud per visualizzare i dati di monitoraggio del cluster.
   Puoi accedere alla console di Monitoring anche dal menu Console Google Cloud.

   

   Dopo aver visualizzato la console di Monitoring, puoi installare l'agente Monitoring sulle VM nel tuo progetto come passaggio di configurazione aggiuntivo. Non devi installare l'agente sulle VM nei cluster Dataproc perché questo passaggio viene eseguito quando crei un cluster Dataproc.

   

2. Seleziona Metrics Explorer, dall'elenco a discesa "Trova risorsa e metrica", seleziona la risorsa "Cluster Cloud Dataproc" (o digita "cloud_dataproc_cluster" nella casella).

   

3. Fai di nuovo clic nella casella di immissione, poi seleziona una metrica dall'elenco a discesa. Nel prossimo screenshot, viene selezionata l'opzione "Dimensioni memoria YARN". Passa il mouse sopra il nome della metrica per visualizzare le relative informazioni.

   

   Puoi selezionare i filtri, raggruppare per etichette delle metriche, eseguire le aggregazioni e selezionare le opzioni di visualizzazione dei grafici (consulta la documentazione di Monitoring).

API

Puoi utilizzare l'API Monitoring timeSeries.list per acquisire ed elencare le metriche definite da un'espressione filter. Utilizza il modello Prova questa API nella pagina API per inviare una richiesta API e visualizzare la risposta.

Espandi la pagina Prova questa API per vedere il cURL e JavaScript equivalenti alla tua richiesta basata su modelli e la risposta JSON restituita da Monitoring.

Esempio: ecco uno snapshot di una richiesta basata su modello e la risposta JSON restituita per i seguenti parametri timeSeries.list di Monitoring:

• name: projects/example-project-id
• filtro: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
• interval.endTime: 27-02-2018T11:54:00.000-08:00
• interval.startTime: 2018-02-20T00:00:00.000-08:00

Metriche OSS

Puoi abilitare Dataproc per raccogliere metriche dei componenti del sistema operativo del cluster da visualizzare in Monitoring. Le metriche OSS di Dataproc vengono raccolte nel seguente formato:

custom.googleapis.com/OSS_COMPONENT/METRIC.

Esempi di metriche OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Metriche OSS disponibili

Puoi abilitare Dataproc per raccogliere le metriche OSS elencate nelle seguenti tabelle. La colonna Raccoglita per impostazione predefinita è contrassegnata con "y" se Dataproc raccoglie la metrica per impostazione predefinita quando attivi l'origine della metrica associata. Tutte le metriche elencate per un'origine metrica e tutte le metriche di Spark possono essere attivate per la raccolta se esegui l'override della raccolta delle metriche predefinite per l'origine della metrica (vedi Abilita raccolta delle metriche OSS).

Nota: Dataproc utilizza le metriche di raccolta dell'agente Monitoring. L'attivazione di qualsiasi origine metrica consente la raccolta di metriche dell'agente. Queste metriche non vengono fatturate agli utenti; Dataproc le utilizza per diagnosticare i problemi di raccolta delle metriche.

Metriche di Hadoop

Metriche HDFS

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
hdf:NomeNodo:FSNomesistema:CapacitàTotaleGB	dfs/FSNamesystem/MemoryTotalGB	y
hdf:NomeNodo:FSNomesistema:CapacitàUsatoGB	dfs/FSNamesystem/MemoryUsedGB	y
hdfs:NameNode:FSNamesystem:CapacitàRemainingGB	dfs/FSNamesystem/MemoryRemainingGB	y
hdfs:NameNode:FSNamesystem:FilesTotal	dfs/FSNamesystem/FilesTotal	y
hdfs:NameNode:FSNamesystem:MissingBlocks	dfs/FSNamesystem/MissingBlocks	n
hdfs:NameNode:FSNamesystem:EXPIREHeartbeats	dfs/FSNamesystem/EXPIREHeartbeats	n
hdfs:NameNode:FSNamesystem:TransactionsFromLastCheckpoint	dfs/FSNamesystem/TransactionsFromLastCheckpoint	n
hdfs:NameNode:FSNamesystem:TransactionsFromLastLogRoll	dfs/FSNamesystem/TransactionsFromLastLogRoll	n
hdfs:NameNode:FSNamesystem:LastWriteTransactionId	dfs/FSNamesystem/LastWriteTransactionId	n
hdf:NomeNodo:FSNomesistema:CapacitàTotale	dfs/FSNamesystem/CapacitàTotal	n
hdf:NomeNodo:FSNomesistema:CapacitàUtilizzata	dfs/FSNamesystem/SpaceUsed	n
hdfs:NomeNodo:FSNomesistema:CapacitàRimanente	dfs/FSNamesystem/SpaceRemaining	n
hdf:NomeNodo:FSNomesistema:CapacitàUtilizzatoNonDFS	dfs/FSNamesystem/StorageUsedNonDFS	n
hdfs:NameNode:FSNamesystem:TotalLoad	dfs/FSNamesystem/TotalLoad	n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories	dfs/FSNamesystem/SnapshottableDirectories	n
hdfs:NameNode:FSNamesystem:Snapshots	dfs/FSNamesystem/Snapshot	n
hdfs:NameNode:FSNamesystem:BlocksTotal	dfs/FSNamesystem/BlocksTotal	n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks	dfs/FSNamesystem/PendingReplicationBlocks	n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks	dfs/FSNamesystem/UnderReplicatedBlocks	n
hdfs:NameNode:FSNamesystem:CorruptBlocks	dfs/FSNamesystem/CorruptBlocks	n
hdfs:NameNode:FSNamesystem:SchedulingReplicationBlocks	dfs/FSNamesystem/SchedulingReplicationBlocks	n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks	dfs/FSNamesystem/PendingDeletionBlocks	n
hdfs:NameNode:FSNamesystem:ExcessBlocks	dfs/FSNamesystem/ExcessBlocks	n
hdfs:NameNode:FSNamesystem:PostpostdMisreplicatedBlocks	dfs/FSNamesystem/PostpostdMisreplicatedBlocks	n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt	dfs/FSNamesystem/PendingDataNodeMessageCourt	n
hdfs:NameNode:FSNamesystem:MillisFromLastLoadedEdits	dfs/FSNamesystem/MillisFromLastLoadedEdits	n
hdfs:NameNode:FSNamesystem:BlockCapacità	dfs/FSNamesystem/BlockSpace	n
hdfs:NameNode:FSNamesystem:StaleDataNodes	dfs/FSNamesystem/StaleDataNodes	n
hdfs:NameNode:FSNamesystem:TotalFiles	dfs/FSNamesystem/TotalFiles	n
hdfs:NameNode:JvmMetrics:MemHeapUsedM	dfs/jvm/MemHeapUsedM	n
hdfs:NameNode:JvmMetrics:MemHeapCommitM	dfs/jvm/MemHeapCommitM	n
hdfs:NameNode:JvmMetrics:MemHeapMaxM	dfs/jvm/MemHeapMaxM	n
hdfs:NameNode:JvmMetrics:MemMaxM	dfs/jvm/MemMaxM	n

Metriche YARN

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
filato:ResourceManager:ClusterMetrics:NumActiveNMs	filato/ClusterMetrics/NumActiveNMs	y
filato:ResourceManager:ClusterMetrics:NumDecommissionedNMs	filato/ClusterMetrics/NumDecommissionedNMs	n
filato:ResourceManager:ClusterMetrics:NumNNMMm	filato/MetricMetrics/NumPersi NM	n
filato:ResourceManager:ClusterMetrics:NumUnhealthyNMs	filato/ClusterMetrics/NumUnhealthyNMs	n
yarn:ResourceManager:ClusterMetrics:NumRiavviaedNMs	yarn/ClusterMetrics/NumRiavviaedNMs	n
yarn:ResourceManager:QueueMetrics:Running_0	filato/CodaMetriche/corsa_0	y
yarn:ResourceManager:QueueMetrics:Running_60	filato/MetricheMetrica/corsa_60	y
yarn:ResourceManager:QueueMetrics:Running_300	filato/MetricheMetrica/corsa_300	y
yarn:ResourceManager:QueueMetrics:Running_1440	filato/MetricheMetrica/corsa_1440	y
yarn:ResourceManager:QueueMetrics:Appssubmitted	filato/MetricMetrics/AppInviate	y
yarn:ResourceManager:QueueMetrics:DisponibileMB	filato/QueueMetrics/Disponibile MB	y
yarn:ResourceManager:QueueMetrics:PendingContainers	yarn/QueueMetrics/PendingContainers	y
yarn:ResourceManager:QueueMetrics:AppsRunning	filato/MetricheMetrica/App in esecuzione	n
yarn:ResourceManager:QueueMetrics:AppsPending	yarn/QueueMetrics/AppsPending	n
yarn:ResourceManager:QueueMetrics:AppsCompleted	yarn/QueueMetrics/AppsCompleted	n
yarn:ResourceManager:QueueMetrics:AppsKilled	filato/MetricMetrics/AppsKilled	n
yarn:ResourceManager:QueueMetrics:AppsFailed	yarn/QueueMetrics/AppsFailed	n
yarn:ResourceManager:QueueMetrics:AllocalizedMB	yarn/QueueMetrics/AlAllocazioneMB	n
yarn:ResourceManager:QueueMetrics:AllocalizedVCores	yarn/QueueMetrics/AllocalizedVCores	n
yarn:ResourceManager:QueueMetrics:AllocalizedContainers	yarn/QueueMetrics/AlalloContainers	n
yarn:ResourceManager:QueueMetrics:AggregateContainersAlAllocazione	yarn/QueueMetrics/AggregateContainersAlAllocazione	n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased	yarn/QueueMetrics/AggregateContainersReleased	n
yarn:ResourceManager:QueueMetrics:AvailableVCores	filato/MetricheMetrica/CoreVCore disponibili	n
yarn:ResourceManager:QueueMetrics:PendingMB	yarn/QueueMetrics/PendingMB	n
yarn:ResourceManager:QueueMetrics:PendingVCores	yarn/QueueMetrics/PendingVCores	n
yarn:ResourceManager:QueueMetrics:RiservatoMB	filato/MetricheMetrica/Prenotato MB	n
yarn:ResourceManager:QueueMetrics:PrenotaVCores	filato/MetricheMetrica/CoreVVCore	n
yarn:ResourceManager:QueueMetrics:ReservationContainers	yarn/QueueMetrics/ReservationContainers	n
yarn:ResourceManager:QueueMetrics:ActiveUsers	yarn/QueueMetrics/ActiveUsers	n
yarn:ResourceManager:QueueMetrics:ActiveApplications	yarn/QueueMetrics/ActiveApplications	n
yarn:ResourceManager:QueueMetrics:FairShareMB	yarn/QueueMetrics/FairShareMB	n
filato:ResourceManager:QueueMetrics:FairShareVCores	yrn/QueueMetrics/FairShareVCores	n
filato:ResourceManager:QueueMetrics:MinShareMB	filato/MetricheMetrica/MinShareMB	n
filato:ResourceManager:QueueMetrics:MinShareVCores	Filato/MetricheMetrica/MinShareVCore	n
filato:ResourceManager:QueueMetrics:MaxShareMB	filato/MetricheMetrica/MaxShareMB	n
filato:ResourceManager:QueueMetrics:MaxShareVCores	filato/MetricheMetrica/MaxShareVCores	n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM	yarn/jvm/MemHeapUsedM	n
yarn:ResourceManager:JvmMetrics:MemHeapCommitM	yarn/jvm/MemHeapCommitM	n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM	yarn/jvm/MemHeapMaxM	n
yarn:ResourceManager:JvmMetrics:MemMaxM	filato/mvm/MemMaxM	n

Metriche Spark

Nota: le metriche di Spark possono essere attivate per la raccolta come sostituzioni di metriche (vedi Abilita raccolta di metriche OSS).

Metriche dei fattori stimolanti

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
spark:driver:BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB	y
spark:driver:ManagerManager:memoria.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB	y
spark:driver:ManagerManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB	y
spark:autista:DAGScheduler:job.allJobs	spark/driver/DAGScheduler/job/allJobs	y
spark:driver:DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages	y
spark:driver:DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages	y

Metriche degli esecutori di Spark

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
spark:executor:executor:bytesRead	spark/executor/bytesRead	y
spark:executor:executor:byteSWrite	spark/executor/bytesWrite	y
spark:executor:esecutore:cpuTime	Spark/executor/cpuTime	y
spark:executor:executor:diskBytesSpilled	spark/executor/diskBytesSpilled	y
spark:executor:executor:recordsRead	spark/executor/recordsRead	y
spark:executor:executor:recordsWrite	spark/esecutore/record	y
spark:executor:executor:runTime	spark/executor/runTime	y
spark:executor:executor:shuffleRecordsRead	spark/executor/shuffleRecordsRead	y
spark:executor:executor:shuffleRecordsWrite	spark/executor/shuffleRecordsWrite	y

Metriche del server di cronologia Spark

Dataproc raccoglie le seguenti metriche di memoria JVM del servizio di cronologia Spark:

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
sparkHistoryServer:JVM:Memoria:HeapMemoryUsage.commit	sparkHistoryServer/memory/CommitHeapMemory	y
sparkHistoryServer:JVM:Memoria:HeapMemoryUsage.used	sparkHistoryServer/memory/UsedHeapMemory	y
sparkHistoryServer:JVM:Memoria:HeapMemoryUsage.max	sparkHistoryServer/memory/MaxHeapMemory	y
sparkHistoryServer:JVM:Memoria:NonHeapMemoryUsage.commit	sparkHistoryServer/memory/CommitNonHeapMemory	y
sparkHistoryServer:JVM:Memoria:NonHeapMemoryUsage.used	sparkHistoryServer/memory/UsedNonHeapMemory	y
sparkHistoryServer:JVM:Memoria:NonHeapMemoryUsage.max	sparkHistoryServer/memory/MaxNonHeapMemory	y

Metriche HiveServer 2

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
hiveserver2:JVM:Memoria:HeapMemoryUsage.commit	hiveserver2/memoria/MemoriaMemoria-impegnata	y
hiveserver2:JVM:Memoria:HeapMemoryUsage.used	hiveserver2/memoria/UsedHeapMemory	y
hiveserver2:JVM:Memoria:HeapMemoryUsage.max	hiveserver2/memoria/MemoriaMaxHeap	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.commit	hiveserver2/memoria/CommitNonHeapMemory	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.used	hiveserver2/memoria/UsatoNonHeapMemory	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.max	hiveserver2/memoria/MaxNonHeapMemory	y

Metriche Mevestore Hive

Metrica	Nome Metrics Explorer	Raccolto per impostazione predefinita
hivemetastore:API:GetDatabase:Mean	hivemetastore/get_database/mean	y
hivemetastore:API:CreateDatabase:Mean	hivemetastore/create_database/mean	y
hivemetastore:API:DropDatabase:Media	hivemetastore/drop_database/mean	y
hivemetastore:API:AlterDatabase:Mean	hivemetastore/alter_database/media	y
hivemetastore:API:GetAllDatabases:Media	hivemetastore/get_all_databases/mean	y
hivemetastore:API:CreateTable:Media	hivemetastore/create_table/media	y
hivemetastore:API:DropTable:Media	hivemetastore/drop_table/media	y
hivemetastore:API:AlterTable:Media	hivemetastore/alter_table/media	y
hivemetastore:API:GetTable:Media	hivemetastore/get_table/media	y
hivemetastore:API:GetAllTables:Mean	hivemetastore/get_all_tables/media	y
hivemetastore:API:AddPartitionsReq:Media	hivemetastore/add_partitions_req/media	y
hivemetastore:API:DropPartition:Media	hivemetastore/drop_partition/media	y
hivemetastore:API:AlterPartition:Media	hivemetastore/alter_partition/media	y
hivemetastore:API:GetPartition:Media	hivemetastore/get_partition/media	y
hivemetastore:API:GetPartitionNames:Media	hivemetastore/get_partition_names/mean	y
hivemetastore:API:GetPartitionsPs:Media	hivemetastore/get_partitions_ps/media	y
hivemetastore:API:GetPartitionsPsWithAuth:Mean	hivemetastore/get_partitions_ps_with_auth/media	y

Misure delle metriche del negozio Hive Meta

Nota: per impostazione predefinita, le metriche relative al valore media vengono raccolte per le API Hivestore Hive elencate in precedenza. Puoi anche attivare la raccolta delle seguenti misure statistiche. Per ogni misurazione statistica vengono mostrati una metrica di esempio e il nome di Metric Explorer.

Misura statistica	Esempio di metrica	Nome metrica di esempio
Max	hivemetastore:API:GetDatabase:Max	hivemetastore/get_database/max
Min	hivemetastore:API:GetDatabase:Min	hivemetastore/get_database/min
Media	hivemetastore:API:GetDatabase:Mean	hivemetastore/get_database/mean
Count	hivemetastore:API:GetDatabase:Count	hivemetastore/get_database/count
50° percentile	hivemetastore:API:GetDatabase:50thPercentile	hivemetastore/get_database/mediana
75° percentile	hivemetastore:API:GetDatabase:75thPercentile	hivemetastore/get_database/75th_percentile
95° percentile	hivemetastore:API:GetDatabase:95thPercentile	hivemetastore/get_database/95th_percentile
98° percentile	hivemetastore:API:GetDatabase:98thPercentile	hivemetastore/get_database/98th_percentile
99° percentile	hivemetastore:API:GetDatabase:99thPercentile	hivemetastore/get_database/99th_percentile
999° percentile	hivemetastore:API:GetDatabase:999thPercentile	hivemetastore/get_database/999th_percentile
Dev	hivemetastore:API:GetDatabase:StdDev	hivemetastore/get_database/stddev
Tariffa Quindici minuti	hivemetastore:API:GetDatabase:FifteenMinuteRate	hivemetastore/get_database/15min_rate
Tariffa in cinque minuti	hivemetastore:API:GetDatabase:FiveMinuteRate	hivemetastore/get_database/5min_rate
Tariffa in un minuto	hivemetastore:API:GetDatabase:OneMinuteRate	hivemetastore/get_database/1min_rate
Indice medio	hivemetastore:API:GetDatabase:MeanRate	hivemetastore/get_database/mean_rate

Metriche dell'agente di monitoraggio Dataproc

Per impostazione predefinita, Dataproc raccoglie le seguenti metriche predefinite dell'agente di monitoraggio Dataproc, che vengono pubblicate con un prefisso agent.googleapis.com:

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Nota: cpu/utilization e cpu/usage_time sono metriche che si escludono a vicenda. Per impostazione predefinita, Dataproc raccoglie cpu/utilization. Vedi Configurazione delle metriche della CPU segnalate per abilitare cpu/usage_time.

Disco
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/Pending_operations
agent.googleapis.percent.googleapis.googleapis.byte.googleapis.

Scambia
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memoria
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Processi: (segue un criterio della quota leggermente diverso per alcuni attributi)
agent.googleapis.com/processes/count_by_state
agent.googleapis.com/processes/cpu_time
agent.googleapis.com/processes/disk/read_bytes_count
agent.googleapis.com/processes/disk/write_bytes_count
agent.googleapisk.com/processes.com/processes.com/processo.com/processi.com/processi.com/processi.com

Interfaccia
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Rete
agent.googleapis.com/network/tcp_connections

Attiva la raccolta delle metriche del software open source

Quando crei un cluster Dataproc, puoi utilizzare l'interfaccia a riga di comando gcloud o l'API Dataproc per abilitare la raccolta delle metriche OSS in due modi (puoi utilizzare uno o entrambi i metodi di raccolta):

1. Attiva la raccolta delle sole metriche predefinite di una o più origini delle metriche del software open source
2. Abilita la raccolta delle sole metriche specificate ("override") specificate da una o più origini delle metriche del software open source

Comando gcloud

Raccolta di metriche predefinita

Utilizza il flag gcloud dataproc clusters create --metric-sources per abilitare la raccolta di metriche OSS disponibili predefinite da una o più origini delle metriche.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Note:

• --metric-sources: necessario per attivare la raccolta delle metriche predefinite. Specifica una o più delle seguenti origini delle metriche: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. Il nome dell'origine della metrica è sensibile alle maiuscole (ad esempio, "filato" o "YARN" è accettabile).

Sostituire la raccolta di metriche

Facoltativamente, aggiungi il flag --metric-overrides o --metric-overrides-file per consentire la raccolta di una o più metriche del software open source da una o più origini delle metriche.

• Tutte le metriche del software open source disponibili e tutte le metriche di Spark possono essere elencate come dati di sostituzione delle metriche. I valori delle metriche di override sono sensibili alle maiuscole e devono essere forniti, se appropriato, in formato CamelCase.

  Esempi

  • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
  • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
  • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

• Solo le metriche specificate sostituite verranno raccolte da una determinata origine. Ad esempio, se una o più metriche spark:executive sono elencate come sostituzioni di metriche, le altre metriche SPARK non verranno raccolte. La raccolta delle metriche OSS predefinite da altre origini delle metriche non è interessata. Ad esempio, se le origini delle metriche SPARK e YARN sono abilitate e le sostituzioni vengono fornite solo per le metriche Spark, verranno raccolte tutte le metriche YARN predefinite.
• L'origine dell'override della metrica specificata deve essere abilitata. Ad esempio, se una o più metriche spark:driver vengono fornite come sostituzioni di metriche, l'origine della metrica spark deve essere abilitata (--metric-sources=spark).

Override dell'elenco delle metriche

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Note:

• --metric-sources: necessario per attivare la raccolta delle metriche predefinite. Specifica una o più delle seguenti origini delle metriche: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. Il nome dell'origine della metrica è sensibile alle maiuscole, ad esempio "filato" o "YARN" è accettabile.
• --metric-overrides: fornisci un elenco di metriche nel seguente formato:

  METRIC_SOURCE:INSTANCE:GROUP:METRIC

  Esempio:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

• Questo flag è un'alternativa e non può essere utilizzato con il flag --metric-overrides-file.

File delle metriche di sostituzione

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Note:

• --metric-sources: necessario per attivare la raccolta delle metriche predefinite. Specifica una o più delle seguenti origini delle metriche: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore e monitoring-agent-defaults. Il nome dell'origine della metrica è sensibile alle maiuscole, ad esempio "filato" o "YARN" è accettabile.
• --metric-overrides-file: specifica un file locale o di Cloud Storage (gs://bucket/filename) che contiene una o più metriche nel seguente formato:

  METRIC_SOURCE:INSTANCE:GROUP:METRIC

  Utilizza il formato a cammello a seconda dei casi.

  Esempi

  • --metric-overrides-file=gs://my-bucket/my-filename.txt
  • --metric-overrides-file=./local-directory/local-filename.txt

• Questo flag è un'alternativa e non può essere utilizzato con il flag --metric-overrides.

API REST

Utilizza DataprocMetricConfig come parte di una richiesta clusters.create per abilitare la raccolta delle metriche OSS.

Crea una dashboard di Monitoring

Puoi creare una dashboard Monitoring personalizzata che mostra i grafici delle metriche del cluster Cloud Dataproc selezionate.

1. Seleziona + CREA DASHBOARD dalla pagina Panoramica di Monitoring per le dashboard. Specifica un nome per la dashboard, quindi fai clic su Aggiungi grafico nel menu in alto a destra per aprire la finestra Aggiungi grafico. Seleziona "Cluster Cloud Dataproc" come tipo di risorsa. Seleziona una o più metriche e proprietà della metrica e del grafico. poi Salva il grafico.

   

2. Puoi aggiungere altri grafici alla dashboard. Dopo aver salvato la dashboard, il titolo viene visualizzato nella pagina Panoramica delle dashboard di Monitoring. I grafici della dashboard possono essere visualizzati, aggiornati ed eliminati dalla pagina di visualizzazione della dashboard.

   

Passaggi successivi

• Consulta la documentazione di Cloud Monitoring
• Scopri come creare avvisi relativi alle metriche di Dataproc