Cloud Monitoring

Cloud Monitoring proporciona visibilidad del rendimiento, del tiempo de actividad y del estado general de las aplicaciones basadas en la nube. Google Cloud's operations suite recopila y transfiere métricas, eventos y metadatos de los clústeres de Dataproc, incluidos las métricas de HDFS, YARN, trabajo y operaciones por clúster, para generar estadísticas mediante paneles y gráficos (consulta Métricas de Dataproc para Cloud Monitoring).

Usa las métricas de clústeres de Cloud Monitoring para supervisar el rendimiento y el estado de los clústeres de Dataproc.

• Consulta los precios de Cloud Monitoring para comprender tus costos.

• Consulta Cuotas y límites de Monitoring para obtener información sobre la retención de los datos de métricas.

Métricas del clúster de Dataproc

Dataproc recopila métricas de recursos del clúster que puedes ver en Monitoring.

Las métricas del clúster de Dataproc están disponibles en Monitoring cuando se usa la versión de la imagen 1.2.22 o superior de Dataproc.

Ver métricas del clúster

Puedes examinar Monitoring desde Google Cloud Console o mediante la API de Monitoring.

Consola

1. Después de crear un clúster, ve a Monitoring en Google Cloud Console para ver los datos de supervisión de clústeres.
   También puedes acceder a la consola de Monitoring desde el menú de Google Cloud Console.

   

   Después de que aparezca la consola de Monitoring, puedes instalar el agente de Monitoring en las VM de tu proyecto como un paso adicional de configuración. No es necesario que instales el agente en las VM en los clústeres de Dataproc, dado que este paso se realiza cuando creas un clúster de Dataproc.

   

2. Selecciona Metrics Explorer (Explorador de métricas). En la lista desplegable "Find resource type and metric" (Buscar tipo de recurso y métrica), selecciona el recurso "Cloud Dataproc Cluster" (o escribe "cloud_dataproc_cluster" en el cuadro).

   

3. Haz clic de nuevo en el cuadro de entrada y selecciona una métrica de la lista desplegable. En la captura de pantalla siguiente, se selecciona "YARN memory size" (Tamaño de memoria YARN). Si te desplazas sobre el nombre de la métrica, se muestra la información sobre esta.

   

   Puedes seleccionar filtros, agrupar por etiquetas de métricas, realizar agregaciones y seleccionar opciones de visualización de gráficos (consulta la documentación de Monitoring).

API

Puedes usar la API timeSeries.list de Monitoring para capturar y enumerar las métricas definidas por una expresión filter. Usa la plantilla Probar esta API en la página de la API para enviar una solicitud a la API y mostrar la respuesta.

Expande la página Prueba esta API a fin de ver los cURL y JavaScript equivalentes de tu solicitud con plantilla y la respuesta JSON que muestra Monitoring.

Ejemplo: Esta es una instantánea de una solicitud con plantilla y la respuesta JSON que se muestra para los siguientes parámetros timeSeries.list de Monitoring:

• name: projects/example-project-id
• filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
• interval.endTime: 2018-02-27T11:54:00.000-08:00
• interval.startTime: 2018-02-20T00:00:00.000-08:00

Métricas de OSS

Puedes habilitar Dataproc a fin de recopilar métricas del componente de OSS del clúster para visualizar en Monitoring. Las métricas de OSS de Dataproc se recopilan en el siguiente formato:

custom.googleapis.com/OSS_COMPONENT/METRIC

Ejemplos de métricas de OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Métricas de OSS disponibles

Puedes habilitar Dataproc para recopilar las métricas de OSS que se enumeran en las siguientes tablas. La columna Collected by default (Recopilada de forma predeterminada) está marcada con “y” si Dataproc recopila la métrica de forma predeterminada cuando habilitas la fuente de métrica asociada. Cualquiera de las métricas enumeradas en una fuente de métrica, y todas las métricas de Spark, se pueden habilitar para la recopilación si anulas la recopilación de métricas predeterminadas para la fuente de métricas (consulta Habilita la recopilación de métricas de OSS).

Nota: Dataproc usa las métricas de recopilación del agente de supervisión. Si se habilita cualquier fuente de métrica, se habilita la recopilación de métricas de agente. Estas métricas no se facturan a los usuarios; Dataproc las usa para diagnosticar problemas de recopilación de métricas.

Métricas de Hadoop

Métricas HDFS

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
hdfs:NameNode:FSNamesystem:CapacityTotalGB	dfs/FSNamesystem/CapacityTotalGB	y
hdfs:NameNode:FSNamesystem:CapacityUsedGB	dfs/FSNamesystem/CapacityUsedGB	y
hdfs:NameNode:FSNamesystem:CapacityRemainingGB	dfs/FSNamesystem/CapacityRemainingGB	y
hdfs:NameNode:FSNamesystem:FilesTotal	dfs/FSNamesystem/FilesTotal	y
hdfs:NameNode:FSNamesystem:MissingBlocks	dfs/FSNamesystem/MissingBlocks	n
hdfs:NameNode:FSNamesystem:ExpirationHeartbeats	dfs/FSNamesystem/ExpiresHeartbeats	n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastCheckpoint	dfs/FSNamesystem/TransactionsSinceLastCheckpoint	n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastLogRoll	dfs/FSNamesystem/TransactionsSinceLastLogRoll	n
hdfs:NameNode:FSNamesystem:LastWrittenTransactionId	dfs/FSNamesystem/LastWrittenTransactionId	n
hdfs:NameNode:FSNamesystem:CapacityTotal	dfs/FSNamesystem/CapacityTotal	n
hdfs:NameNode:FSNamesystem:CapacityUsed	dfs/FSNamesystem/CapacityUsed	n
hdfs:NameNode:FSNamesystem:CapacityRemaining	dfs/FSNamesystem/CapacityRemaining	n
hdfs:NameNode:FSNamesystem:CapacityUsedNonDFS	dfs/FSNamesystem/CapacityUsedNonDFS	n
hdfs:NameNode:FSNamesystem:TotalLoad	dfs/FSNamesystem/TotalLoad	n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories	dfs/FSNamesystem/SnapshottableDirectories	n
hdfs:NameNode:FSNamesystem:Snapshots	dfs/FSNamesystem/Snapshots	n
hdfs:NameNode:FSNamesystem:BlocksTotal	dfs/FSNamesystem/BlocksTotal	n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks	dfs/FSNamesystem/PendingReplicationBlocks	n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks	dfs/FSNamesystem/UnderReplicatedBlocks	n
hdfs:NameNode:FSNamesystem:CorruptBlocks	dfs/FSNamesystem/CorruptBlocks	n
hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks	dfs/FSNamesystem/ScheduledReplicationBlocks	n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks	dfs/FSNamesystem/PendingDeletionBlocks	n
hdfs:NameNode:FSNamesystem:ExcessBlocks	dfs/FSNamesystem/ExcessBlocks	n
hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks	dfs/FSNamesystem/PostponedMisreplicatedBlocks	n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt	dfs/FSNamesystem/PendingDataNodeMessageCourt	n
hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits	dfs/FSNamesystem/MillisSinceLastLoadedEdits	n
hdfs:NameNode:FSNamesystem:BlockCapacity	dfs/FSNamesystem/BlockCapacity	n
hdfs:NameNode:FSNamesystem:StaleDataNodes	dfs/FSNamesystem/StaleDataNodes	n
hdfs:NameNode:FSNamesystem:TotalFiles	dfs/FSNamesystem/TotalFiles	n
hdfs:NameNode:JvmMetrics:MemHeapUsedM	dfs/jvm/MemHeapUsedM	n
hdfs:NameNode:JvmMetrics:MemHeapCommitmentM	dfs/jvm/MemHeapCommitmentM	n
hdfs:NameNode:JvmMetrics:MemHeapMaxM	dfs/jvm/MemHeapMaxM	n
hdfs:NombreNodo:JvmMetrics:MemMaxM	dfs/jvm/MemMaxM	n

Métricas de YARN

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
yarn:ResourceManager:ClusterMetrics:NumActiveNM	yarn/ClusterMetrics/NumActiveNM	y
yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs	yarn/ClusterMetrics/NumDemissionedNMs	n
yarn:ResourceManager:ClusterMetrics:NumLostNM	yarn/ClusterMetrics/NumLostNMs	n
yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs	yarn/ClusterMetrics/NumUnhealthyNMs	n
yarn:ResourceManager:ClusterMetrics:NumRestartedNMs	yarn/ClusterMetrics/NumRestartedNMs	n
yarn:ResourceManager:QueueMetrics:running_0	yarn/QueueMetrics/running_0	y
yarn:ResourceManager:QueueMetrics:running_60	yarn/QueueMetrics/running_60	y
yarn:ResourceManager:QueueMetrics:running_300	yarn/QueueMetrics/running_300	y
yarn:ResourceManager:QueueMetrics:running_1440	yarn/QueueMetrics/running_1440	y
yarn:ResourceManager:QueueMetrics:AppsEnviadas	yarn/QueueMetrics/AppsSubmitted	y
yarn:ResourceManager:QueueMetrics:Disponible MB	yarn/QueueMetrics/AvailableMB	y
yarn:ResourceManager:QueueMetrics:PendienteContenedores	yarn/QueueMetrics/PendingContainers	y
yarn:ResourceManager:QueueMetrics:AplicacionesEn ejecución	yarn/QueueMetrics/AppsRunning	n
yarn:ResourceManager:QueueMetrics:Aplicaciones pendientes	yarn/QueueMetrics/AppsPendientes	n
yarn:ResourceManager:QueueMetrics:AppsCompletadas	yarn/QueueMetrics/AppsCompletadas	n
yarn:ResourceManager:QueueMetrics:AppsKilled	yarn/QueueMetrics/AppsKilled	n
yarn:ResourceManager:QueueMetrics:AppsCon errores	yarn/QueueMetrics/AppsFailed	n
yarn:ResourceManager:QueueMetrics:AllocationsMB	yarn/QueueMetrics/AllocationsMB	n
yarn:ResourceManager:QueueMetrics:AllocationVCores	yarn/QueueMetrics/AllocationVCores	n
yarn:ResourceManager:QueueMetrics:AllocationsContainers	yarn/QueueMetrics/AllocationsContainers	n
yarn:ResourceManager:QueueMetrics:AggregateContainersAllocations	yarn/QueueMetrics/AggregateContainersAllocations	n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased	yarn/QueueMetrics/AggregateContainersReleased	n
yarn:ResourceManager:QueueMetrics:AvailableVCores	yarn/QueueMetrics/AvailableVCores	n
yarn:ResourceManager:QueueMetrics:Pendiente MB	yarn/QueueMetrics/PendingMB	n
yarn:ResourceManager:QueueMetrics:PendienteVCores	yarn/QueueMetrics/PendingVCores	n
yarn:ResourceManager:QueueMetrics:ReservadMB	yarn/QueueMetrics/ReservadMB	n
yarn:ResourceManager:QueueMetrics:ReservadVCores	yarn/QueueMetrics/ReservedVCores	n
yarn:ResourceManager:QueueMetrics:ReservadContainers	yarn/QueueMetrics/ReservadContainers	n
yarn:ResourceManager:QueueMetrics:ActiveUsers	yarn/QueueMetrics/ActiveUsers	n
yarn:ResourceManager:QueueMetrics:ActiveApplications	yarn/QueueMetrics/ActiveApplications	n
yarn:ResourceManager:QueueMetrics:FairShareMB	yarn/QueueMetrics/FairShareMB	n
yarn:ResourceManager:QueueMetrics:FairShareVCores	yarn/QueueMetrics/FairShareVCores	n
yarn:ResourceManager:QueueMetrics:MinShareMB	yarn/QueueMetrics/MinShareMB	n
yarn:ResourceManager:QueueMetrics:MinShareVCores	yarn/QueueMetrics/MinShareVCores	n
yarn:ResourceManager:QueueMetrics:MaxShareMB	yarn/QueueMetrics/MaxShareMB	n
yarn:ResourceManager:QueueMetrics:MaxShareVCores	yarn/QueueMetrics/MaxShareVCores	n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM	yarn/jvm/MemHeapUsedM	n
yarn:ResourceManager:JvmMetrics:MemHeapCommitmentM	yarn/jvm/MemHeapCommitmentM	n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM	yarn/jvm/MemHeapMaxM	n
yarn:ResourceManager:JvmMetrics:MemMaxM	yarn/jvm/MemMaxM	n

Métricas de Spark

Nota: Las métricas de Spark se pueden habilitar para la recopilación como anulaciones de métricas (consulta Habilitar la recopilación de métricas de OSS).

Métricas del controlador de Spark

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
spark:driver:BlockManager:disk.diskSpaceUsed_MB	spark/driver/BlockManager/disk/diskSpaceUsed_MB	y
spark:driver:BlockManager:memory.maxMem_MB	spark/driver/BlockManager/memory/maxMem_MB	y
spark:driver:BlockManager:memory.memUsed_MB	spark/driver/BlockManager/memory/memUsed_MB	y
spark:driver:DAGScheduler:trabajo.allJobs	spark/driver/DAGScheduler/trabajo/allJobs	y
spark:driver:DAGScheduler:stage.failedStages	spark/driver/DAGScheduler/stage/failedStages	y
spark:driver:DAGScheduler:stage.waitingStages	spark/driver/DAGScheduler/stage/waitingStages	y

Métricas del ejecutor de Spark

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
spark:executor:executor:bytesRead	Spark/ejecutor/bytesRead	y
spark:executor:executor:bytesEscritos	spark/ejecutor/bytesEscritura	y
spark:executor:executor:cpuTime	Spark/ejecutor/cpuTime	y
spark:executor:executor:diskBytesSpilled	Spark/ejecutor/discBytesSpilled	y
spark:executor:executor:registros	Spark/ejecutor/registros	y
spark:executor:executor:registrosEscritos	Spark/ejecutor/registros escritos	y
spark:executor:executor:tiempodeejecutar	Spark/ejecutor/tiempo de ejecución	y
spark:executor:executor:shuffleRecordsRead	Spark/ejecutor/shuffleRecordsRead	y
spark:executor:executor:shuffleRecordsEscrita	Spark/ejecutor/shuffleRecordsWritten	y

Métricas del servidor de historial de Spark

Dataproc recopila las siguientes métricas de memoria de JVM del servicio de historial de Spark:

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.committed	sparkHistoryServer/memory/CommitmentHeapMemory	y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used	sparkHistoryServer/memory/UsedHeapMemory	y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max	sparkHistoryServer/memory/MaxHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed	sparkHistoryServer/memory/CommitmentNonHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used	sparkHistoryServer/memory/UsedNonHeapMemory	y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max	sparkHistoryServer/memory/MaxNonHeapMemory	y

Métricas de HiveServer 2

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
hiveserver2:JVM:Memoria:HeapMemoryUsage.committed	hiveserver2/memory/CommitmentHeapMemory	y
hiveserver2:JVM:Memoria:HeapMemoryUsage.used	hiveserver2/memory/UsedHeapMemory	y
hiveserver2:JVM:Memoria:HeapMemoryUsage.max	hiveserver2/memory/MaxHeapMemory	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.committed	hiveserver2/memory/CommitmentNonHeapMemory	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.used	hiveserver2/memory/UsedNonHeapMemory	y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.max	hiveserver2/memory/MaxNonHeapMemory	y

Métricas de Hive Metastore

Métrica	Nombre del Explorador de métricas	Datos que se recopilan de forma predeterminada
hivemetastore:API:GetDatabase:Media	hivemetastore/get_database/media	y
hivemetastore:API:CreateDatabase:Media	hivemetastore/create_database/media	y
hivemetastore:API:DropDatabase:Mean	hivemetastore/drop_database/media	y
hivemetastore:API:AlterDatabase	hivemetastore/alter_database/media	y
hivemetastore:API:GetAllDatabases:Media	hivemetastore/get_all_databases/media	y
hivemetastore:API:CreateTable:Media	hivemetastore/create_table/media	y
hivemetastore:API:DropTable:Media	hivemetastore/drop_table/media	y
hivemetastore:API:AlterTable:Mean	hivemetastore/alter_table/media	y
hivemetastore:API:GetTable:Mean	hivemetastore/get_table/media	y
hivemetastore:API:GetAllTables:Media	hivemetastore/get_all_tables/media	y
hivemetastore:API:AddPartitionsReq:Media	hivemetastore/add_partitions_req/media	y
hivemetastore:API:DropPartition:Mean	hivemetastore/drop_partition/means	y
hivemetastore:API:AlterPartition:Media	hivemetastore/alter_partition/media	y
hivemetastore:API:GetPartition:Mean	hivemetastore/get_partition/media	y
hivemetastore:API:GetPartitionNames:Media	hivemetastore/get_partition_names/mean	y
hivemetastore:API:GetPartitionsPs:Media	hivemetastore/get_partitions_ps/media	y
hivemetastore:API:GetPartitionsPsWithAuth:Mean	hivemetastore/get_partitions_ps_with_auth/mean	y

Medidas de métricas de Hive Metastore

Nota: De forma predeterminada, las métricas de valor media se recopilan para las API de Hive Metastore enumeradas anteriormente. También puedes habilitar la recopilación de las siguientes medidas estadísticas. Se muestra una métrica de muestra y su nombre en el Explorador de métricas para cada medida estadística.

Medida estadística	Métrica de muestra	Nombre de la métrica de muestra
Máx	hivemetastore:API:GetDatabase	hivemetastore/get_database/max
Mín	hivemetastore:API:GetDatabase:Min	hivemetastore/get_database/min
Media	hivemetastore:API:GetDatabase:Media	hivemetastore/get_database/media
Recuento	hivemetastore:API:GetDatabase	hivemetastore/get_database/count
Percentil 50	hivemetastore:API:GetDatabase:50.o Percentil	hivemetastore/get_database/median
Percentil 75	hivemetastore:API:GetDatabase:75thPercentile	hivemetastore/get_database/75th_percentile
Percentil 95	hivemetastore:API:GetDatabase:95thPercentile	hivemetastore/get_database/95th_percentile
Percentil 98	hivemetastore:API:GetDatabase:98.o Percentil	hivemetastore/get_database/98th_percentile
Percentil 99	hivemetastore:API:GetDatabase:99.o Percentil	hivemetastore/get_database/99th_percentile
Percentil 999	hivemetastore:API:GetDatabase:999thPercentil	hivemetastore/get_database/999th_percentile
Desarrollo estándar	hivemetastore:API:GetDatabase	hivemetastore/get_database/stddev
Tarifa de quince minutos	hivemetastore:API:GetDatabase:FifteenMinuteRate	hivemetastore/get_database/15min_rate
Tarifa de cinco minutos	hivemetastore:API:GetDatabase:FiveMinuteRate	hivemetastore/get_database/5min_rate
Tarifa de un minuto	hivemetastore:API:GetDatabase:OneMinuteRate	hivemetastore/get_database/1min_rate
Porcentaje medio	hivemetastore:API:GetDatabase:MeanRate	hivemetastore/get_database/mean_rate

Métricas del agente de supervisión de Dataproc

De forma predeterminada, Dataproc recopila las siguientes métricas predeterminadas del agente de supervisión, que se publican con un prefijo agent.googleapis.com:

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Nota: cpu/utilization y cpu/usage_time son métricas mutuamente excluyentes. De forma predeterminada, Dataproc recopila cpu/utilization. Consulta Configura métricas de CPU informadas para habilitar cpu/usage_time.

Disk
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used

Intercambio
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memoria
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Procesos: (sigue una política de cuotas ligeramente diferente para algunos atributos)
agent.googleapis.com/processes/count_by_state

Interfaz
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Red
agent.googleapis.com/network/tcp_connections

Habilita la recopilación de métricas de OSS

Cuando creas un clúster de Dataproc, puedes usar la CLI de gcloud o la API de Dataproc para habilitar la recopilación de las métricas de OSS de dos maneras (puedes usar uno o ambos métodos de recopilación):

1. Habilita la recopilación de solo las métricas predeterminadas de una o más fuentes de métricas de OSS
2. Habilitar la recopilación de solo las métricas especificadas (“anular”) en una o más fuentes de métricas de OSS

Comando de gcloud

Recopilación de métricas predeterminadas

Usa la marca gcloud dataproc clusters create --metric-sources para habilitar la recopilación de las métricas de OSS disponibles predeterminadas de una o más fuentes de métricas.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Notas:

• --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas (por ejemplo, se acepta “yarn” o “YARN”).

Anular la recopilación de métricas

De forma opcional, agrega la marca --metric-overrides o --metric-overrides-file para habilitar la recopilación de una o más de las métricas de OSS disponibles de una o más fuentes de métricas.

• Cualquiera de las métricas de OSS disponibles y todas las métricas de Spark se pueden enumerar para la recopilación como anulación de métricas. Los valores de métrica de anulación distinguen mayúsculas de minúsculas y, si corresponde, deben proporcionarse en formato CamelCase.

  Ejemplos

  • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
  • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
  • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

• Solo se recopilarán las métricas anuladas especificadas de una fuente de métrica determinada. Por ejemplo, si una o más métricas spark:executive se enumeran como anulaciones de métrica, no se recopilarán otras métricas SPARK. La recopilación de métricas predeterminadas de OSS de otras fuentes de métricas no se ve afectada. Por ejemplo, si las fuentes de métricas SPARK y YARN están habilitadas y las anulaciones se proporcionan solo para las métricas de Spark, se recopilarán todas las métricas predeterminadas de YARN.
• Se debe habilitar la fuente de la anulación de métrica especificada. Por ejemplo, si se proporcionan una o más métricas spark:driver como anulaciones de métricas, se debe habilitar la fuente de métricas spark (--metric-sources=spark).

Cómo anular la lista de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Notas:

• --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Se acepta, por ejemplo, "yarn" o "YARN".
• --metric-overrides: Proporciona una lista de métricas en el siguiente formato:

  METRIC_SOURCE:INSTANCE:GROUP:METRIC

  Ejemplo:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

• Esta marca es una alternativa a la marca --metric-overrides-file y no se puede usar.

Cómo anular el archivo de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Notas:

• --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Se acepta, por ejemplo, "yarn" o "YARN".
• --metric-overrides-file: Especifica un archivo local o de Cloud Storage (gs://bucket/filename) que contenga una o más métricas en el siguiente formato:

  METRIC_SOURCE:INSTANCE:GROUP:METRIC

  Usa el formato de mayúsculas y minúsculas según corresponda.

  Ejemplos

  • --metric-overrides-file=gs://my-bucket/my-filename.txt
  • --metric-overrides-file=./local-directory/local-filename.txt

• Esta marca es una alternativa a la marca --metric-overrides y no se puede usar.

API de REST

Usa DataprocMetricConfig como parte de una solicitud clusters.create para habilitar la recopilación de métricas de OSS.

Compila un panel de Monitoring

Puedes compilar un panel personalizado de Monitoring que muestre gráficos de las métricas de clúster de Cloud Dataproc seleccionadas.

1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring. Ingresa un nombre para el panel y, luego, haz clic en Agregar gráfico en el menú superior derecho para abrir la ventana Agregar gráfico. Selecciona "Cloud Dataproc Cluster" (clúster de Cloud Dataproc) como el tipo de recurso. Selecciona una o varias métricas y propiedades de estas y de gráficos. Luego, guarda el gráfico.

   

2. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparecerá en la página Descripción general de los paneles de Monitoring. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

   

Qué sigue

• Consulta la documentación de Cloud Monitoring.
• Aprende a crear alertas de métricas de Dataproc.