Cloud Monitoring

Cloud Monitoring proporciona visibilidad del rendimiento, del tiempo de actividad y del estado general de las aplicaciones basadas en la nube. Google Cloud's operations suite recopila y transfiere métricas, eventos y metadatos de los clústeres de Dataproc, incluidos las métricas de HDFS, YARN, trabajo y operaciones por clúster, para generar estadísticas mediante paneles y gráficos (consulta Métricas de Dataproc para Cloud Monitoring).

Usa las métricas de clústeres de Cloud Monitoring para supervisar el rendimiento y el estado de los clústeres de Dataproc.

Métricas del clúster de Dataproc

Dataproc recopila métricas de recursos del clúster que puedes ver en Monitoring.

Ver métricas del clúster

Puedes examinar Monitoring desde Google Cloud Console o mediante la API de Monitoring.

Consola

  1. Después de crear un clúster, ve a Monitoring en Google Cloud Console para ver los datos de supervisión de clústeres.

    Después de que aparezca la consola de Monitoring, puedes instalar el agente de Monitoring en las VM de tu proyecto como un paso adicional de configuración. No es necesario que instales el agente en las VM en los clústeres de Dataproc, dado que este paso se realiza cuando creas un clúster de Dataproc.

  2. Selecciona Metrics Explorer (Explorador de métricas). En la lista desplegable "Find resource type and metric" (Buscar tipo de recurso y métrica), selecciona el recurso "Cloud Dataproc Cluster" (o escribe "cloud_dataproc_cluster" en el cuadro).
  3. Haz clic de nuevo en el cuadro de entrada y selecciona una métrica de la lista desplegable. En la captura de pantalla siguiente, se selecciona "YARN memory size" (Tamaño de memoria YARN). Si te desplazas sobre el nombre de la métrica, se muestra la información sobre esta.

    Puedes seleccionar filtros, agrupar por etiquetas de métricas, realizar agregaciones y seleccionar opciones de visualización de gráficos (consulta la documentación de Monitoring).

API

Puedes usar la API timeSeries.list de Monitoring para capturar y enumerar las métricas definidas por una expresión filter. Usa la plantilla Probar esta API en la página de la API para enviar una solicitud a la API y mostrar la respuesta.

Ejemplo: Esta es una instantánea de una solicitud con plantilla y la respuesta JSON que se muestra para los siguientes parámetros timeSeries.list de Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Métricas de OSS

Puedes habilitar Dataproc a fin de recopilar métricas del componente de OSS del clúster para visualizar en Monitoring. Las métricas de OSS de Dataproc se recopilan en el siguiente formato:

custom.googleapis.com/OSS_COMPONENT/METRIC

Ejemplos de métricas de OSS:

custom.googleapis.com/spark/driver/DAGScheduler/job/allJobs
custom.googleapis.com/hiveserver2/memory/MaxNonHeapMemory

Métricas de OSS disponibles

Puedes habilitar Dataproc para recopilar las métricas de OSS que se enumeran en las siguientes tablas. La columna Collected by default (Recopilada de forma predeterminada) está marcada con “y” si Dataproc recopila la métrica de forma predeterminada cuando habilitas la fuente de métrica asociada. Cualquiera de las métricas enumeradas en una fuente de métrica, y todas las métricas de Spark, se pueden habilitar para la recopilación si anulas la recopilación de métricas predeterminadas para la fuente de métricas (consulta Habilita la recopilación de métricas de OSS).

Métricas de Hadoop

Métricas HDFS

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
hdfs:NameNode:FSNamesystem:CapacityTotalGB dfs/FSNamesystem/CapacityTotalGB y
hdfs:NameNode:FSNamesystem:CapacityUsedGB dfs/FSNamesystem/CapacityUsedGB y
hdfs:NameNode:FSNamesystem:CapacityRemainingGB dfs/FSNamesystem/CapacityRemainingGB y
hdfs:NameNode:FSNamesystem:FilesTotal dfs/FSNamesystem/FilesTotal y
hdfs:NameNode:FSNamesystem:MissingBlocks dfs/FSNamesystem/MissingBlocks n
hdfs:NameNode:FSNamesystem:ExpirationHeartbeats dfs/FSNamesystem/ExpiresHeartbeats n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastCheckpoint dfs/FSNamesystem/TransactionsSinceLastCheckpoint n
hdfs:NameNode:FSNamesystem:TransactionsSinceLastLogRoll dfs/FSNamesystem/TransactionsSinceLastLogRoll n
hdfs:NameNode:FSNamesystem:LastWrittenTransactionId dfs/FSNamesystem/LastWrittenTransactionId n
hdfs:NameNode:FSNamesystem:CapacityTotal dfs/FSNamesystem/CapacityTotal n
hdfs:NameNode:FSNamesystem:CapacityUsed dfs/FSNamesystem/CapacityUsed n
hdfs:NameNode:FSNamesystem:CapacityRemaining dfs/FSNamesystem/CapacityRemaining n
hdfs:NameNode:FSNamesystem:CapacityUsedNonDFS dfs/FSNamesystem/CapacityUsedNonDFS n
hdfs:NameNode:FSNamesystem:TotalLoad dfs/FSNamesystem/TotalLoad n
hdfs:NameNode:FSNamesystem:SnapshottableDirectories dfs/FSNamesystem/SnapshottableDirectories n
hdfs:NameNode:FSNamesystem:Snapshots dfs/FSNamesystem/Snapshots n
hdfs:NameNode:FSNamesystem:BlocksTotal dfs/FSNamesystem/BlocksTotal n
hdfs:NameNode:FSNamesystem:PendingReplicationBlocks dfs/FSNamesystem/PendingReplicationBlocks n
hdfs:NameNode:FSNamesystem:UnderReplicatedBlocks dfs/FSNamesystem/UnderReplicatedBlocks n
hdfs:NameNode:FSNamesystem:CorruptBlocks dfs/FSNamesystem/CorruptBlocks n
hdfs:NameNode:FSNamesystem:ScheduledReplicationBlocks dfs/FSNamesystem/ScheduledReplicationBlocks n
hdfs:NameNode:FSNamesystem:PendingDeletionBlocks dfs/FSNamesystem/PendingDeletionBlocks n
hdfs:NameNode:FSNamesystem:ExcessBlocks dfs/FSNamesystem/ExcessBlocks n
hdfs:NameNode:FSNamesystem:PostponedMisreplicatedBlocks dfs/FSNamesystem/PostponedMisreplicatedBlocks n
hdfs:NameNode:FSNamesystem:PendingDataNodeMessageCourt dfs/FSNamesystem/PendingDataNodeMessageCourt n
hdfs:NameNode:FSNamesystem:MillisSinceLastLoadedEdits dfs/FSNamesystem/MillisSinceLastLoadedEdits n
hdfs:NameNode:FSNamesystem:BlockCapacity dfs/FSNamesystem/BlockCapacity n
hdfs:NameNode:FSNamesystem:StaleDataNodes dfs/FSNamesystem/StaleDataNodes n
hdfs:NameNode:FSNamesystem:TotalFiles dfs/FSNamesystem/TotalFiles n
hdfs:NameNode:JvmMetrics:MemHeapUsedM dfs/jvm/MemHeapUsedM n
hdfs:NameNode:JvmMetrics:MemHeapCommitmentM dfs/jvm/MemHeapCommitmentM n
hdfs:NameNode:JvmMetrics:MemHeapMaxM dfs/jvm/MemHeapMaxM n
hdfs:NombreNodo:JvmMetrics:MemMaxM dfs/jvm/MemMaxM n

Métricas de YARN

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
yarn:ResourceManager:ClusterMetrics:NumActiveNM yarn/ClusterMetrics/NumActiveNM y
yarn:ResourceManager:ClusterMetrics:NumDecommissionedNMs yarn/ClusterMetrics/NumDemissionedNMs n
yarn:ResourceManager:ClusterMetrics:NumLostNM yarn/ClusterMetrics/NumLostNMs n
yarn:ResourceManager:ClusterMetrics:NumUnhealthyNMs yarn/ClusterMetrics/NumUnhealthyNMs n
yarn:ResourceManager:ClusterMetrics:NumRestartedNMs yarn/ClusterMetrics/NumRestartedNMs n
yarn:ResourceManager:QueueMetrics:running_0 yarn/QueueMetrics/running_0 y
yarn:ResourceManager:QueueMetrics:running_60 yarn/QueueMetrics/running_60 y
yarn:ResourceManager:QueueMetrics:running_300 yarn/QueueMetrics/running_300 y
yarn:ResourceManager:QueueMetrics:running_1440 yarn/QueueMetrics/running_1440 y
yarn:ResourceManager:QueueMetrics:AppsEnviadas yarn/QueueMetrics/AppsSubmitted y
yarn:ResourceManager:QueueMetrics:Disponible MB yarn/QueueMetrics/AvailableMB y
yarn:ResourceManager:QueueMetrics:PendienteContenedores yarn/QueueMetrics/PendingContainers y
yarn:ResourceManager:QueueMetrics:AplicacionesEn ejecución yarn/QueueMetrics/AppsRunning n
yarn:ResourceManager:QueueMetrics:Aplicaciones pendientes yarn/QueueMetrics/AppsPendientes n
yarn:ResourceManager:QueueMetrics:AppsCompletadas yarn/QueueMetrics/AppsCompletadas n
yarn:ResourceManager:QueueMetrics:AppsKilled yarn/QueueMetrics/AppsKilled n
yarn:ResourceManager:QueueMetrics:AppsCon errores yarn/QueueMetrics/AppsFailed n
yarn:ResourceManager:QueueMetrics:AllocationsMB yarn/QueueMetrics/AllocationsMB n
yarn:ResourceManager:QueueMetrics:AllocationVCores yarn/QueueMetrics/AllocationVCores n
yarn:ResourceManager:QueueMetrics:AllocationsContainers yarn/QueueMetrics/AllocationsContainers n
yarn:ResourceManager:QueueMetrics:AggregateContainersAllocations yarn/QueueMetrics/AggregateContainersAllocations n
yarn:ResourceManager:QueueMetrics:AggregateContainersReleased yarn/QueueMetrics/AggregateContainersReleased n
yarn:ResourceManager:QueueMetrics:AvailableVCores yarn/QueueMetrics/AvailableVCores n
yarn:ResourceManager:QueueMetrics:Pendiente MB yarn/QueueMetrics/PendingMB n
yarn:ResourceManager:QueueMetrics:PendienteVCores yarn/QueueMetrics/PendingVCores n
yarn:ResourceManager:QueueMetrics:ReservadMB yarn/QueueMetrics/ReservadMB n
yarn:ResourceManager:QueueMetrics:ReservadVCores yarn/QueueMetrics/ReservedVCores n
yarn:ResourceManager:QueueMetrics:ReservadContainers yarn/QueueMetrics/ReservadContainers n
yarn:ResourceManager:QueueMetrics:ActiveUsers yarn/QueueMetrics/ActiveUsers n
yarn:ResourceManager:QueueMetrics:ActiveApplications yarn/QueueMetrics/ActiveApplications n
yarn:ResourceManager:QueueMetrics:FairShareMB yarn/QueueMetrics/FairShareMB n
yarn:ResourceManager:QueueMetrics:FairShareVCores yarn/QueueMetrics/FairShareVCores n
yarn:ResourceManager:QueueMetrics:MinShareMB yarn/QueueMetrics/MinShareMB n
yarn:ResourceManager:QueueMetrics:MinShareVCores yarn/QueueMetrics/MinShareVCores n
yarn:ResourceManager:QueueMetrics:MaxShareMB yarn/QueueMetrics/MaxShareMB n
yarn:ResourceManager:QueueMetrics:MaxShareVCores yarn/QueueMetrics/MaxShareVCores n
yarn:ResourceManager:JvmMetrics:MemHeapUsedM yarn/jvm/MemHeapUsedM n
yarn:ResourceManager:JvmMetrics:MemHeapCommitmentM yarn/jvm/MemHeapCommitmentM n
yarn:ResourceManager:JvmMetrics:MemHeapMaxM yarn/jvm/MemHeapMaxM n
yarn:ResourceManager:JvmMetrics:MemMaxM yarn/jvm/MemMaxM n

Métricas de Spark

Métricas del controlador de Spark

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
spark:driver:BlockManager:disk.diskSpaceUsed_MB spark/driver/BlockManager/disk/diskSpaceUsed_MB y
spark:driver:BlockManager:memory.maxMem_MB spark/driver/BlockManager/memory/maxMem_MB y
spark:driver:BlockManager:memory.memUsed_MB spark/driver/BlockManager/memory/memUsed_MB y
spark:driver:DAGScheduler:trabajo.allJobs spark/driver/DAGScheduler/trabajo/allJobs y
spark:driver:DAGScheduler:stage.failedStages spark/driver/DAGScheduler/stage/failedStages y
spark:driver:DAGScheduler:stage.waitingStages spark/driver/DAGScheduler/stage/waitingStages y

Métricas del ejecutor de Spark

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
spark:executor:executor:bytesRead Spark/ejecutor/bytesRead y
spark:executor:executor:bytesEscritos spark/ejecutor/bytesEscritura y
spark:executor:executor:cpuTime Spark/ejecutor/cpuTime y
spark:executor:executor:diskBytesSpilled Spark/ejecutor/discBytesSpilled y
spark:executor:executor:registros Spark/ejecutor/registros y
spark:executor:executor:registrosEscritos Spark/ejecutor/registros escritos y
spark:executor:executor:tiempodeejecutar Spark/ejecutor/tiempo de ejecución y
spark:executor:executor:shuffleRecordsRead Spark/ejecutor/shuffleRecordsRead y
spark:executor:executor:shuffleRecordsEscrita Spark/ejecutor/shuffleRecordsWritten y

Métricas del servidor de historial de Spark

Dataproc recopila las siguientes métricas de memoria de JVM del servicio de historial de Spark:

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.committed sparkHistoryServer/memory/CommitmentHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.used sparkHistoryServer/memory/UsedHeapMemory y
sparkHistoryServer:JVM:Memory:HeapMemoryUsage.max sparkHistoryServer/memory/MaxHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed sparkHistoryServer/memory/CommitmentNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.used sparkHistoryServer/memory/UsedNonHeapMemory y
sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.max sparkHistoryServer/memory/MaxNonHeapMemory y

Métricas de HiveServer 2

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
hiveserver2:JVM:Memoria:HeapMemoryUsage.committed hiveserver2/memory/CommitmentHeapMemory y
hiveserver2:JVM:Memoria:HeapMemoryUsage.used hiveserver2/memory/UsedHeapMemory y
hiveserver2:JVM:Memoria:HeapMemoryUsage.max hiveserver2/memory/MaxHeapMemory y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.committed hiveserver2/memory/CommitmentNonHeapMemory y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.used hiveserver2/memory/UsedNonHeapMemory y
hiveserver2:JVM:Memoria:NonHeapMemoryUsage.max hiveserver2/memory/MaxNonHeapMemory y

Métricas de Hive Metastore

Métrica Nombre del Explorador de métricas Datos que se recopilan de forma predeterminada
hivemetastore:API:GetDatabase:Media hivemetastore/get_database/media y
hivemetastore:API:CreateDatabase:Media hivemetastore/create_database/media y
hivemetastore:API:DropDatabase:Mean hivemetastore/drop_database/media y
hivemetastore:API:AlterDatabase hivemetastore/alter_database/media y
hivemetastore:API:GetAllDatabases:Media hivemetastore/get_all_databases/media y
hivemetastore:API:CreateTable:Media hivemetastore/create_table/media y
hivemetastore:API:DropTable:Media hivemetastore/drop_table/media y
hivemetastore:API:AlterTable:Mean hivemetastore/alter_table/media y
hivemetastore:API:GetTable:Mean hivemetastore/get_table/media y
hivemetastore:API:GetAllTables:Media hivemetastore/get_all_tables/media y
hivemetastore:API:AddPartitionsReq:Media hivemetastore/add_partitions_req/media y
hivemetastore:API:DropPartition:Mean hivemetastore/drop_partition/means y
hivemetastore:API:AlterPartition:Media hivemetastore/alter_partition/media y
hivemetastore:API:GetPartition:Mean hivemetastore/get_partition/media y
hivemetastore:API:GetPartitionNames:Media hivemetastore/get_partition_names/mean y
hivemetastore:API:GetPartitionsPs:Media hivemetastore/get_partitions_ps/media y
hivemetastore:API:GetPartitionsPsWithAuth:Mean hivemetastore/get_partitions_ps_with_auth/mean y
Medidas de métricas de Hive Metastore
Medida estadística Métrica de muestra Nombre de la métrica de muestra
Máx hivemetastore:API:GetDatabase hivemetastore/get_database/max
Mín hivemetastore:API:GetDatabase:Min hivemetastore/get_database/min
Media hivemetastore:API:GetDatabase:Media hivemetastore/get_database/media
Recuento hivemetastore:API:GetDatabase hivemetastore/get_database/count
Percentil 50 hivemetastore:API:GetDatabase:50.o Percentil hivemetastore/get_database/median
Percentil 75 hivemetastore:API:GetDatabase:75thPercentile hivemetastore/get_database/75th_percentile
Percentil 95 hivemetastore:API:GetDatabase:95thPercentile hivemetastore/get_database/95th_percentile
Percentil 98 hivemetastore:API:GetDatabase:98.o Percentil hivemetastore/get_database/98th_percentile
Percentil 99 hivemetastore:API:GetDatabase:99.o Percentil hivemetastore/get_database/99th_percentile
Percentil 999 hivemetastore:API:GetDatabase:999thPercentil hivemetastore/get_database/999th_percentile
Desarrollo estándar hivemetastore:API:GetDatabase hivemetastore/get_database/stddev
Tarifa de quince minutos hivemetastore:API:GetDatabase:FifteenMinuteRate hivemetastore/get_database/15min_rate
Tarifa de cinco minutos hivemetastore:API:GetDatabase:FiveMinuteRate hivemetastore/get_database/5min_rate
Tarifa de un minuto hivemetastore:API:GetDatabase:OneMinuteRate hivemetastore/get_database/1min_rate
Porcentaje medio hivemetastore:API:GetDatabase:MeanRate hivemetastore/get_database/mean_rate

Métricas del agente de supervisión de Dataproc

De forma predeterminada, Dataproc recopila las siguientes métricas predeterminadas del agente de supervisión, que se publican con un prefijo agent.googleapis.com:

CPU
agent.googleapis.com/cpu/load_15m
agent.googleapis.com/cpu/load_1m
agent.googleapis.com/cpu/load_5m
agent.googleapis.com/cpu/usage_time*
agent.googleapis.com/cpu/utilization*

Disk
agent.googleapis.com/disk/bytes_used
agent.googleapis.com/disk/io_time
agent.googleapis.com/disk/merged_operations
agent.googleapis.com/disk/operation_count
agent.googleapis.com/disk/operation_time
agent.googleapis.com/disk/pending_operations
agent.googleapis.com/disk/percent_used

Intercambio
agent.googleapis.com/swap/bytes_used
agent.googleapis.com/swap/io
agent.googleapis.com/swap/percent_used

Memoria
agent.googleapis.com/memory/bytes_used
agent.googleapis.com/memory/percent_used

Procesos: (sigue una política de cuotas ligeramente diferente para algunos atributos)
agent.googleapis.com/processes/count_by_state

Interfaz
agent.googleapis.com/interface/errors
agent.googleapis.com/interface/packets
agent.googleapis.com/interface/traffic

Red
agent.googleapis.com/network/tcp_connections

Habilita la recopilación de métricas de OSS

Cuando creas un clúster de Dataproc, puedes usar la CLI de gcloud o la API de Dataproc para habilitar la recopilación de las métricas de OSS de dos maneras (puedes usar uno o ambos métodos de recopilación):

  1. Habilita la recopilación de solo las métricas predeterminadas de una o más fuentes de métricas de OSS
  2. Habilitar la recopilación de solo las métricas especificadas (“anular”) en una o más fuentes de métricas de OSS

Comando de gcloud

Recopilación de métricas predeterminadas

Usa la marca gcloud dataproc clusters create --metric-sources para habilitar la recopilación de las métricas de OSS disponibles predeterminadas de una o más fuentes de métricas.

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    ... other flags

Notas:

  • --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas (por ejemplo, se acepta “yarn” o “YARN”).

Anular la recopilación de métricas

De forma opcional, agrega la marca --metric-overrides o --metric-overrides-file para habilitar la recopilación de una o más de las métricas de OSS disponibles de una o más fuentes de métricas.

  • Cualquiera de las métricas de OSS disponibles y todas las métricas de Spark se pueden enumerar para la recopilación como anulación de métricas. Los valores de métrica de anulación distinguen mayúsculas de minúsculas y, si corresponde, deben proporcionarse en formato CamelCase.

    Ejemplos

    • sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed
    • hiveserver2:JVM:Memory:NonHeapMemoryUsage.used
    • yarn:ResourceManager:JvmMetrics:MemHeapMaxM

  • Solo se recopilarán las métricas anuladas especificadas de una fuente de métrica determinada. Por ejemplo, si una o más métricas spark:executive se enumeran como anulaciones de métrica, no se recopilarán otras métricas SPARK. La recopilación de métricas predeterminadas de OSS de otras fuentes de métricas no se ve afectada. Por ejemplo, si las fuentes de métricas SPARK y YARN están habilitadas y las anulaciones se proporcionan solo para las métricas de Spark, se recopilarán todas las métricas predeterminadas de YARN.
  • Se debe habilitar la fuente de la anulación de métrica especificada. Por ejemplo, si se proporcionan una o más métricas spark:driver como anulaciones de métricas, se debe habilitar la fuente de métricas spark (--metric-sources=spark).

Cómo anular la lista de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC_SOURCE(s) \
    --metric-overrides=LIST_OF_METRIC_OVERRIDES \
    ... other flags

Notas:

  • --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Se acepta, por ejemplo, "yarn" o "YARN".
  • --metric-overrides: Proporciona una lista de métricas en el siguiente formato:

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    Ejemplo:--metric-overrides=sparkHistoryServer:JVM:Memory:NonHeapMemoryUsage.committed

  • Esta marca es una alternativa a la marca --metric-overrides-file y no se puede usar.

Cómo anular el archivo de métricas

gcloud dataproc clusters create cluster-name \
    --metric-sources=METRIC-SOURCE(s) \
    --metric-overrides-file=METRIC_OVERRIDES_FILENAME \
    ... other flags

Notas:

  • --metric-sources: Es obligatorio para habilitar la recopilación de métricas predeterminadas. Especifica una o más de las siguientes fuentes de métricas: spark, hdfs, yarn, spark-history-server, hiveserver2, hivemetastore y monitoring-agent-defaults. El nombre de la fuente de la métrica no distingue entre mayúsculas y minúsculas. Se acepta, por ejemplo, "yarn" o "YARN".
  • --metric-overrides-file: Especifica un archivo local o de Cloud Storage (gs://bucket/filename) que contenga una o más métricas en el siguiente formato:

    METRIC_SOURCE:INSTANCE:GROUP:METRIC

    Usa el formato de mayúsculas y minúsculas según corresponda.

    Ejemplos

    • --metric-overrides-file=gs://my-bucket/my-filename.txt
    • --metric-overrides-file=./local-directory/local-filename.txt

  • Esta marca es una alternativa a la marca --metric-overrides y no se puede usar.

API de REST

Usa DataprocMetricConfig como parte de una solicitud clusters.create para habilitar la recopilación de métricas de OSS.

Compila un panel de Monitoring

Puedes compilar un panel personalizado de Monitoring que muestre gráficos de las métricas de clúster de Cloud Dataproc seleccionadas.

  1. Selecciona + CREAR PANEL en la página Descripción general de los paneles de Monitoring. Ingresa un nombre para el panel y, luego, haz clic en Agregar gráfico en el menú superior derecho para abrir la ventana Agregar gráfico. Selecciona "Cloud Dataproc Cluster" (clúster de Cloud Dataproc) como el tipo de recurso. Selecciona una o varias métricas y propiedades de estas y de gráficos. Luego, guarda el gráfico.

  2. Puedes agregar gráficos adicionales a tu panel. Después de guardar el panel, su título aparecerá en la página Descripción general de los paneles de Monitoring. Los gráficos de paneles pueden verse, actualizarse y borrarse en la página de visualización de paneles.

Qué sigue