Elasticsearch

Elasticsearch es un servidor de búsqueda de código abierto basado en la biblioteca de búsqueda Lucene. Se ejecuta en una máquina virtual Java sobre varios sistemas operativos. El elasticsearch receptor recoge la telemetría a nivel de nodo y de clúster de tus instancias de Elasticsearch.

Para obtener más información sobre Elasticsearch, consulta la documentación de Elasticsearch.

Requisitos previos

Para recoger la telemetría de Elasticsearch, debes instalar el Agente de operaciones:

  • Para las métricas, instala la versión 2.21.0 o una posterior.
  • Para los registros, instala la versión 2.9.0 o una posterior.

Esta integración es compatible con Elasticsearch 7.9 y versiones posteriores.

Configurar la instancia de Elasticsearch

Si habilitas las funciones de seguridad de Elasticsearch, debes configurar un usuario con el privilegio de clúster monitor o manage.

Configurar el agente de operaciones para Elasticsearch

Sigue la guía para configurar el agente de operaciones, añade los elementos necesarios para recoger telemetría de las instancias de Elasticsearch y reinicia el agente.

Configuración de ejemplo

Los siguientes comandos crean la configuración para recoger e ingerir telemetría de Elasticsearch:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_json:
      type: elasticsearch_json
    elasticsearch_gc:
      type: elasticsearch_gc
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_json
          - elasticsearch_gc
EOF

Para que estos cambios se apliquen, debes reiniciar el agente de Ops:

Linux

  1. Para reiniciar el agente, ejecuta el siguiente comando en tu instancia: 
    sudo systemctl restart google-cloud-ops-agent
  2. Para confirmar que el agente se ha reiniciado, ejecuta el siguiente comando y verifica que los componentes "Metrics Agent" y "Logging Agent" se han iniciado: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. Conéctate a tu instancia mediante RDP o una herramienta similar e inicia sesión en Windows.
  2. Abre un terminal de PowerShell con privilegios de administrador haciendo clic con el botón derecho en el icono de PowerShell y seleccionando Ejecutar como administrador.
  3. Para reiniciar el agente, ejecuta el siguiente comando de PowerShell: 
    Restart-Service google-cloud-ops-agent -Force
  4. Para confirmar que el agente se ha reiniciado, ejecuta el siguiente comando y verifica que los componentes "Metrics Agent" y "Logging Agent" se han iniciado: 
    Get-Service google-cloud-ops-agent*

Configurar la recogida de registros

Para ingerir registros de Elasticsearch, debe crear un receptor para los registros que genera Elasticsearch y, a continuación, crear una canalización para el nuevo receptor.

Para configurar un receptor de tus registros elasticsearch_json, especifica los siguientes campos:

Campo Predeterminado Descripción
exclude_paths Lista de patrones de rutas del sistema de archivos que se excluirán del conjunto que coincida con include_paths.
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] Lista de rutas del sistema de archivos que se van a leer siguiendo cada archivo. Se puede usar un comodín (*) en las rutas.
record_log_file_path false Si se asigna el valor true, la ruta al archivo específico del que se ha obtenido el registro de log aparece en la entrada de log de salida como valor de la etiqueta agent.googleapis.com/log_file_path. Cuando se usa un comodín, solo se registra la ruta del archivo del que se ha obtenido el registro.
type Este valor debe ser elasticsearch_json.
wildcard_refresh_interval 60s Intervalo en el que se actualizan las rutas de archivos con comodines en include_paths. Se indica como duración; por ejemplo, 30s o 2m. Esta propiedad puede ser útil cuando el volumen de registros es alto y los archivos de registro se rotan más rápido que el intervalo predeterminado.

Para configurar un receptor de tus registros elasticsearch_gc, especifica los siguientes campos:

Campo Predeterminado Descripción
exclude_paths Lista de patrones de rutas del sistema de archivos que se excluirán del conjunto que coincida con include_paths.
include_paths [/var/log/elasticsearch/gc.log] Lista de rutas del sistema de archivos que se van a leer siguiendo cada archivo. Se puede usar un comodín (*) en las rutas.
record_log_file_path false Si se asigna el valor true, la ruta al archivo específico del que se ha obtenido el registro de log aparece en la entrada de log de salida como valor de la etiqueta agent.googleapis.com/log_file_path. Cuando se usa un comodín, solo se registra la ruta del archivo del que se ha obtenido el registro.
type Este valor debe ser elasticsearch_gc.
wildcard_refresh_interval 60s Intervalo en el que se actualizan las rutas de archivos con comodines en include_paths. Se indica como duración; por ejemplo, 30s o 2m. Esta propiedad puede ser útil cuando el volumen de registros es alto y los archivos de registro se rotan más rápido que el intervalo predeterminado.

Qué se registra

El logName se deriva de los IDs de receptor especificados en la configuración. Los campos detallados de LogEntry son los siguientes.

Los registros de elasticsearch_json contienen los siguientes campos en LogEntry:

Campo Tipo Descripción
jsonPayload.cluster cadena El clúster que emite el registro
jsonPayload.cluster.name cadena Nombre del clúster que emite el registro
jsonPayload.cluster.uuid cadena El UUID del clúster que emite el registro
jsonPayload.component cadena Componente de Elasticsearch que ha emitido el registro.
jsonPayload.level cadena Nivel de entrada de registro
jsonPayload.message cadena Mensaje de registro
jsonPayload.node cadena El nodo que emite el registro
jsonPayload.node.name cadena Nombre del nodo que emite el registro
jsonPayload.node.uuid cadena El UUID del nodo que emite el registro
jsonPayload.type cadena El tipo de registro, que indica de qué registro procede el registro (por ejemplo, server indica que este LogEntry procede del registro del servidor).
severity cadena (LogSeverity) Nivel de entrada de registro (traducido).

Los registros de elasticsearch_gc contienen los siguientes campos en LogEntry:

Campo Tipo Descripción
jsonPayload.gc_run número Ejecución del recolector de elementos no utilizados
jsonPayload.message cadena Mensaje de registro
jsonPayload.type cadena Tipo de registro
severity cadena (LogSeverity) Nivel de entrada de registro (traducido).

Configurar recogida de métricas

Para ingerir métricas de Elasticsearch, debe crear un receptor para las métricas que produce Elasticsearch y, a continuación, crear una canalización para el nuevo receptor.

Este receptor no admite el uso de varias instancias en la configuración, por ejemplo, para monitorizar varios endpoints. Todas estas instancias escriben en la misma serie temporal y Cloud Monitoring no tiene forma de distinguirlas.

Para configurar un receptor de sus métricas de elasticsearch, especifique los siguientes campos:

Campo Predeterminado Descripción
ca_file Ruta al certificado de la AC. Como cliente, esto verifica el certificado del servidor. Si está vacío, el receptor usa la CA raíz del sistema.
cert_file Ruta al certificado TLS que se va a usar en las conexiones que requieren mTLS.
collection_interval 60s Un valor de duración, como 30s o 5m.
endpoint http://localhost:92002 La URL base de la API REST de Elasticsearch.
insecure true Define si se debe usar una conexión TLS segura. Si se le asigna el valor false, TLS se habilita.
insecure_skip_verify false Define si se debe omitir la verificación del certificado. Si insecure se define como true, no se utiliza el valor de insecure_skip_verify.
key_file Ruta a la clave TLS que se va a usar en las conexiones que requieren mTLS.
password Contraseña para la autenticación con Elasticsearch. Es obligatorio si se especifica username.
type Este valor debe ser elasticsearch.
username Nombre de usuario para la autenticación con Elasticsearch. Es obligatorio si se especifica password.

Qué se monitoriza

En la siguiente tabla se muestra la lista de métricas que recoge el agente de Ops de la instancia de Elasticsearch.

Tipo de métrica 
Tipo
Recursos monitorizados		 Etiquetas
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.health
GAUGE, INT64
gce_instance 		status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE, INT64
gce_instance 		state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE, INT64
gce_instance 		stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE, INT64
gce_instance 		type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE, INT64
gce_instance 		direction
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.documents
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.open_files
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE, INT64
gce_instance 		thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.memory
GAUGE, INT64
gce_instance 		state

Verificar la configuración

En esta sección se describe cómo verificar que ha configurado correctamente el receptor de Elasticsearch. El agente de Ops puede tardar uno o dos minutos en empezar a recoger datos de telemetría.

Para verificar que los registros de Elasticsearch se envían a Cloud Logging, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página Explorador de registros:

    Ve al Explorador de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  2. Introduce la siguiente consulta en el editor y haz clic en Ejecutar consulta: 
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

Para verificar que las métricas de Elasticsearch se envían a Cloud Monitoring, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página  Explorador de métricas:

    Ve al explorador de métricas.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Monitorización.

  2. En la barra de herramientas del panel de creación de consultas, selecciona el botón cuyo nombre sea  MQL o  PromQL.
  3. Verifica que PromQL esté seleccionado en el interruptor Idioma. El interruptor de idioma se encuentra en la misma barra de herramientas que te permite dar formato a tu consulta.
  4. Introduce la siguiente consulta en el editor y haz clic en Ejecutar consulta: 
    {"workload.googleapis.com/elasticsearch.node.open_files", monitored_resource="gce_instance"}

Ver panel de control

Para ver las métricas de Elasticsearch, debe tener configurado un gráfico o un panel de control. La integración de Elasticsearch incluye uno o varios paneles de control. Los paneles de control se instalan automáticamente después de configurar la integración y cuando el agente de Ops ha empezado a recoger datos de métricas.

También puedes ver vistas previas estáticas de los paneles de control sin instalar la integración.

Para ver un panel de control instalado, siga estos pasos:

  1. En la Google Cloud consola, ve a la página  Paneles de control:

    Ve a Paneles.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Monitorización.

  2. Seleccione la pestaña Lista de paneles de control y, a continuación, elija la categoría Integraciones.
  3. Haga clic en el nombre del panel de control que quiera ver.

Si has configurado una integración, pero el panel de control no se ha instalado, comprueba que el agente de operaciones se esté ejecutando. Si no hay datos de métricas para un gráfico del panel de control, no se podrá instalar el panel. Una vez que el agente de Ops empiece a recoger métricas, se instalará el panel de control.

Para ver una vista previa estática del panel de control, siga estos pasos:

  1. En la Google Cloud consola, ve a la página  Integraciones:

    Ve a Integraciones.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Monitorización.

  2. Haz clic en el filtro de plataforma de implementación Compute Engine.
  3. Busca la entrada de Elasticsearch y haz clic en Ver detalles.
  4. Seleccione la pestaña Paneles para ver una vista previa estática. Si el panel de control está instalado, puedes acceder a él haciendo clic en Ver panel de control.

Para obtener más información sobre los paneles de control de Cloud Monitoring, consulta Paneles de control y gráficos.

Para obtener más información sobre cómo usar la página Integraciones, consulta el artículo Gestionar integraciones.

Instalar políticas de alertas

Las políticas de alertas indican a Cloud Monitoring que te envíe una notificación cuando se produzcan las condiciones especificadas. La integración de Elasticsearch incluye una o varias políticas de alertas que puedes usar. Puedes ver e instalar estas políticas de alertas desde la página Integraciones de Monitoring.

Para ver las descripciones de las políticas de alertas disponibles e instalarlas, haz lo siguiente:

  1. En la Google Cloud consola, ve a la página  Integraciones:

    Ve a Integraciones.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Monitorización.

  2. Busca la entrada de Elasticsearch y haz clic en Ver detalles.
  3. Selecciona la pestaña Alertas. En esta pestaña se ofrecen descripciones de las políticas de alertas disponibles y se proporciona una interfaz para instalarlas.
  4. Instala las políticas de alertas. Las políticas de alertas necesitan saber dónde enviar las notificaciones de que se ha activado una alerta, por lo que requieren información para la instalación. Para instalar políticas de alertas, haz lo siguiente:
    1. En la lista de políticas de alertas disponibles, selecciona las que quieras instalar.

    2. En la sección Configurar notificaciones, selecciona uno o varios canales de notificación. Puedes inhabilitar el uso de canales de notificación, pero si lo haces, tus políticas de alertas se activarán de forma silenciosa. Puedes consultar su estado en Monitorización, pero no recibirás ninguna notificación.

      Para obtener más información sobre los canales de notificación, consulta el artículo Gestionar canales de notificación.

    3. Haz clic en Crear políticas.

Para obtener más información sobre las políticas de alertas en Cloud Monitoring, consulta la introducción a las alertas.

Para obtener más información sobre cómo usar la página Integraciones, consulta el artículo Gestionar integraciones.

Siguientes pasos

Para ver una guía sobre cómo usar Ansible para instalar el Agente de operaciones, configurar una aplicación de terceros e instalar un panel de control de ejemplo, consulta el vídeo Instalar el Agente de operaciones para solucionar problemas con aplicaciones de terceros.