La integración de Apache HBase recopila métricas del clúster de los servidores regionales y master
. Las métricas de servidor regional están relacionadas con el almacenamiento, la solicitud y la latencia. La integración también recopila registros de servidores regionales y master
y los analiza en una carga útil de JSON. El resultado incluye campos para la fuente, el nivel y el mensaje.
Para obtener más información sobre HBase, consulta la documentación de Apache HBase.
Requisitos previos
Para recopilar la telemetría de HBase, debes instalar el agente de operaciones:
- Para las métricas, instala la versión 2.11.0 o una posterior.
- Para los registros, instala la versión 2.11.0 o una posterior.
Esta integración es compatible con las versiones 1.7.x, 2.3.x y 2.4.x de HBase.
Configura tu instancia de HBase
Para exponer un extremo de JMX, debes configurar la propiedad del sistema com.sun.management.jmxremote.port
cuando inicies la JVM. También te recomendamos configurar la propiedad del sistema com.sun.management.jmxremote.rmi.port
en el mismo puerto. Para exponer un extremo JMX de forma remota, también debes configurar la propiedad del sistema java.rmi.server.hostname
.
De forma predeterminada, estas propiedades se establecen en el archivo hbase-env.sh
de una implementación de HBase.
Para configurar las propiedades del sistema mediante argumentos de la línea de comandos, agrega el nombre de la propiedad con -D
cuando inicies la JVM. Por ejemplo, para configurar com.sun.management.jmxremote.port
en el puerto 10101
, especifica lo siguiente cuando inicies la JVM:
-Dcom.sun.management.jmxremote.port=10101
Configura el Agente de operaciones para HBase
Usa la guía para configurar el Agente de operaciones a fin de agregar los elementos necesarios para recopilar telemetría de las instancias de HBase y reinicia el agente.
Configuración de ejemplo
Los siguientes comandos crean la configuración para recopilar y transferir la telemetría de Solr, y reinician el Agente de operaciones.
Configura la recopilación de registros
Para transferir registros desde HBase, debes crear un receptor para los registros que produce HBase y, luego, crear una canalización destinada al receptor nuevo.
A fin de configurar un receptor para tus registros hbase_system
, especifica los siguientes campos:
Campo | Predeterminado | Descripción |
---|---|---|
exclude_paths |
Una lista de patrones de ruta de acceso del sistema de archivos que se excluirán del conjunto que coincide con include_paths . |
|
include_paths |
[/opt/hbase/logs/hbase-*-regionserver-*.log, /opt/hbase/logs/hbase-*-master-*.log] |
Una lista de rutas de acceso del sistema de archivos que se leerán con la visualización del final de cada archivo. Se puede usar un comodín (* ) en las rutas. Por ejemplo, /var/log/hbase*/*.log . |
record_log_file_path |
false |
Si se configura como true , la ruta al archivo específico desde el que se obtuvo el registro aparece en la entrada de registro de salida como el valor de la etiqueta agent.googleapis.com/log_file_path . Cuando se usa un comodín, solo se registra la ruta de acceso del archivo del que se obtuvo el registro. |
type |
Este valor debe ser hbase_system . |
|
wildcard_refresh_interval |
60s |
El intervalo en el que se actualizan las rutas de acceso de archivos comodín en include_paths . Se proporciona como una duración, por ejemplo, 30s o 2m . Esta propiedad puede ser útil en el caso de una capacidad de procesamiento de registro alta en la que los archivos de registro se rotan más rápido que el intervalo predeterminado. |
¿Qué se registra?
logName
se deriva de los ID de receptor especificados en la configuración. Los campos detallados dentro de LogEntry
son los siguientes.
Los registros hbase_system
contienen los siguientes campos en LogEntry
:
Campo | Tipo | Descripción |
---|---|---|
jsonPayload.level |
string | Nivel de entrada de registro |
jsonPayload.message |
string | Mensaje de registro, incluido el seguimiento de pila detallado cuando se proporciona |
jsonPayload.module |
string | Módulo de hbase en el que se originó el registro |
jsonPayload.source |
string | Fuente en la que se originó el registro |
severity |
string (LogSeverity ) |
Nivel de entrada de registro (traducido). |
Configura la recopilación de métricas
Para transferir métricas desde HBase, debes crear un receptor para las métricas que produce HBase y, luego, crear una canalización para el receptor nuevo.
Este receptor no admite el uso de varias instancias en la configuración, por ejemplo, para supervisar varios extremos. Todas estas instancias escriben en las mismas series temporales, y Cloud Monitoring no tiene forma de distinguirlas.
Para configurar un receptor para las métricas de hbase
, especifica los siguientes campos:
Campo | Predeterminado | Descripción |
---|---|---|
collect_jvm_metrics |
true |
Configura el receptor para que también recopile las métricas de JVM compatibles. |
collection_interval |
60s |
Un valor de duración de tiempo, como 30s o 5m . |
endpoint |
localhost:10101 |
La URL de servicio de JMX, o el host y el puerto que se usan para construir la URL de servicio. Este valor debe tener el formato service:jmx:<protocol>:<sap> o host:port . Los valores en formato host:port se usan para crear una URL de servicio de service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi . |
password |
La contraseña configurada si JMX está configurado para requerir autenticación. | |
type |
Este valor debe ser hbase . |
|
username |
El nombre de usuario configurado si JMX está configurado para requerir autenticación. |
Qué se supervisa
En la siguiente tabla, se proporciona una lista de métricas que el Agente de operaciones recopila de la instancia de HBase.
Tipo de métrica | |
---|---|
Categoría, tipo Recursos supervisados |
Etiquetas |
workload.googleapis.com/hbase.master.region_server.count
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/hbase.master.regions_in_transition.count
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.oldest_age
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.over_threshold
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.region_server.active_handler.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.authentication.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.block_cache.operation.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.blocked_update.time
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.size
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.files.local
|
|
GAUGE , DOUBLE gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.old_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.young_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.open_connection.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operations.slow
|
|
GAUGE , INT64 gce_instance |
operation region_server
|
workload.googleapis.com/hbase.region_server.queue.length
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.queue.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.region.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.write_ahead_log.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
Verifica la configuración
En esta sección, se describe cómo verificar que hayas configurado correctamente el receptor de HBase. El agente de operaciones puede tardar uno o dos minutos en comenzar a recopilar telemetría.
Para verificar que los registros de HBase se envíen a Cloud Logging, haz lo siguiente:
-
En la consola de Google Cloud, ve a la página Explorador de registros:
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Logging.
- Ingresa la siguiente consulta en el editor y, luego, haz clic en Ejecutar consulta:
resource.type="gce_instance" log_id("hbase_system")
Para verificar que las métricas de HBase se envíen a Cloud Monitoring, haz lo siguiente:
-
En la consola de Google Cloud, ve a la página leaderboard Explorador de métricas:
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.
- En la barra de herramientas del panel del compilador de consultas, selecciona el botón cuyo nombre sea codeMQL o codeMQL.
- Verifica que MQL esté seleccionado en el botón de activación MQL. El botón de activación de lenguaje se encuentra en la misma barra de herramientas que te permite dar formato a tu consulta.
- Ingresa la siguiente consulta en el editor y, luego, haz clic en Ejecutar consulta:
fetch gce_instance | metric 'workload.googleapis.com/hbase.region_server.operation.append.latency.p99' | every 1m
Ver panel
Para ver tus métricas de HBase, debes tener configurado un gráfico o un panel. La integración de HBase incluye uno o más paneles. Cualquier panel se instala de forma automática después de que configuras la integración y de que el agente de operaciones comienza a recopilar datos de métricas.
También puedes ver vistas previas estáticas de los paneles sin instalar la integración.
Para ver un panel instalado, haz lo siguiente:
-
En la consola de Google Cloud, ve a la página Paneles.
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.
- Selecciona la pestaña Lista de paneles y, luego, la categoría Integraciones.
- Haz clic en el nombre del panel que quiera ver.
Si configuraste una integración, pero el panel no se instaló, verifica que el agente de operaciones se esté ejecutando. Cuando no hay datos de métricas para un gráfico en el panel, la instalación del panel falla. Una vez que el agente de operaciones comienza a recopilar métricas, el panel se instalará por ti.
Para obtener una vista previa estática del panel, haz lo siguiente:
-
En la consola de Google Cloud, ve a la página Integraciones:
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.
- Haz clic en el filtro de la plataforma de implementación Compute Engine.
- Ubica la entrada para HBase y haz clic en Ver detalles.
- Selecciona la pestaña Paneles para ver una vista previa estática. Si el panel está instalado, haz clic en Ver panel para navegar a él.
Para obtener más información de los paneles en Cloud Monitoring, consulta Paneles y gráficos.
Para obtener más información del uso de la página Integraciones, consulta Administra integraciones.
Instala políticas de alertas
Las políticas de alertas le indican a Cloud Monitoring que te notifique cuando ocurren condiciones especificadas. La integración de HBase incluye una o más políticas de alertas para que uses. Puedes ver e instalar estas políticas de alertas desde la página Integraciones en Monitoring.
Para ver las descripciones de las políticas de alertas disponibles y, luego, instalarlas, haz lo siguiente:
-
En la consola de Google Cloud, ve a la página Integraciones:
Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuyo subtítulo es Monitoring.
- Ubica la entrada para HBase y haz clic en Ver detalles.
- Selecciona la pestaña Alertas. En esta pestaña, se proporcionan descripciones de las políticas de alertas disponibles y una interfaz para instalarlas.
- Instala las políticas de alertas. Las políticas de alertas deben saber a dónde enviar notificaciones que la alerta se activó, por lo que requieren información de ti para la instalación.
Para instalar las políticas de alertas, haz lo siguiente:
- En la lista de políticas de alertas disponibles, elige las que deseas instalar.
En la sección Configura notificaciones, elige uno o más canales de notificaciones. Tienes la opción de inhabilitar el uso de los canales de notificación, pero si lo haces, las políticas de alertas se activarán de forma silenciosa. Puedes verificar su estado en Monitoring, pero no recibirás notificaciones.
Para obtener más información de los canales de notificaciones, consulta Administra canales de notificaciones.
- Haz clic en Crear políticas.
Para obtener más información de las políticas de alertas en Cloud Monitoring, consulta Introducción a las alertas.
Para obtener más información del uso de la página Integraciones, consulta Administra integraciones.
¿Qué sigue?
Para obtener una explicación sobre cómo usar Ansible para instalar el Agente de operaciones, configurar una aplicación de terceros y, luego, instalar un panel de muestra, consulta el video Instala el Agente de operaciones para solucionar problemas de apps de terceros.