Resuelve problemas de observabilidad y telemetría en Cloud Service Mesh

En esta sección, se explican los problemas comunes de Cloud Service Mesh y cómo resolverlos. Si necesitas asistencia adicional, consulta Obtén asistencia.

En la telemetría de Cloud Service Mesh, los proxies de Envoy llaman a las APIs de Google Cloud Observability de forma periódica para informar los datos de telemetría. El tipo de llamada a la API determina su frecuencia:

• Registro: cada 10 segundos aproximadamente
• Métricas: cada 1 minuto aproximadamente
• Perímetros (vista de topología/API de contexto): Informes incrementales cada aproximadamente 1 minuto con informes completos cada 10 minutos aproximadamente
• Seguimientos: Se determinan según la frecuencia de muestreo que configures (por lo general, una de cada 100 solicitudes).

Importante: La telemetría completa puede retrasarse de 1 a 2 minutos mientras se inician los clústeres.

Los paneles de telemetría recopilan datos de Confluence y de la observabilidad de Google Cloud para mostrar los distintos paneles centrados en servicios.

Verifica que haya, como máximo, una configuración de la API de telemetría de Istio

Esta sección solo se aplica al plano de control administrado de Cloud Service Mesh.

Nota: Cloud Service Mesh con un plano de control administrado solo admite una configuración de API de telemetría para todo el clúster, específicamente, un solo CR de la API de telemetría de Istio en el espacio de nombres raíz. No implementes varios CR de la API de Istio telemetry en un clúster. Si implementas varias CR de la API de la telemetría de Istio en un clúster, solo se aplica la primera. Si ya tienes una CR de la API de telemetría de Istio existente, para preservar la configuración de personalización anterior en la CR de telemetría de Istio existente, debes incluirla en la nueva CR de la API de telemetría de Istio.

Para enumerar las configuraciones de la API de la telemetría, ejecuta el siguiente comando. Verifica que haya como máximo una configuración de API de telemetría de Istio.

kubectl -n istio-system get telemetry

Falta un servicio en el panel de servicios

El panel solo muestra servicios HTTP(S)/gRPC. Si tu servicio debería estar en la lista, verifica que la telemetría de Cloud Service Mesh lo identifique como un servicio HTTP.

Si tu servicio sigue sin aparecer, verifica que exista una configuración del servicio de Kubernetes en tu clúster.

• Revisa la lista de todos los servicios de Kubernetes:

  kubectl get services --all-namespaces

• Revisa la lista de servicios de Kubernetes en un espacio de nombres específico:

  kubectl get services -n YOUR_NAMESPACE

Faltan métricas en los servicios o estas son incorrectas

Si faltan métricas o son incorrectas para los servicios en el panel Servicios, consulta las siguientes secciones a fin de conocer las posibles soluciones.

Verifica que los proxies de sidecar existan y se hayan insertado correctamente

Nota: Debes tener acceso al clúster para solucionar los problemas de métricas faltantes o incorrectas.

El espacio de nombres quizás no tenga una etiqueta para la inserción automática, o la inyección manual haya fallado. Confirma que los pods en el espacio de nombres tengan al menos dos contenedores y que uno de ellos sea el contenedor istio-proxy:

kubectl -n YOUR_NAMESPACE get pods

Verifica que la configuración de telemetría exista

Para confirmar que el filtro de Google Cloud Observability esté configurado, recopila un volcado de configuración de cada proxy y busca la presencia del filtro de Google Cloud Observability:

kubectl debug --image istio/base --target istio-proxy -it YOUR_POD_NAME -n YOUR_NAMESPACE curl localhost:15000/config_dump

En el resultado del comando anterior, busca el filtro de Observabilidad de Google Cloud, que se ve de la siguiente manera:

"config": {
    "root_id": "stackdriver_inbound",
    "vm_config": {
        "vm_id": "stackdriver_inbound",
        "runtime": "envoy.wasm.runtime.null",
        "code": {
            "local": {
                "inline_string": "envoy.wasm.null.stackdriver"
             }
         }
     },
     "configuration": "{....}"
}

Verifica que Cloud Service Mesh identifique un servicio HTTP

Las métricas no aparecerán en la interfaz de usuario si el puerto de servicio para el servicio de Kubernetes no tiene el nombre http ni ningún nombre con un prefijo http-. Confirma que el servicio tenga los nombres adecuados para sus puertos.

Verifica que la API de Cloud Monitoring esté habilitada para el proyecto

Confirma que la API de Cloud Monitoring esté habilitada en el panel de API y servicios en la consola de Google Cloud, que es la configuración predeterminada.

Verifica que no haya informes de errores en la API de Cloud Monitoring

En el panel de API y servicios de la consola de Google Cloud, abre la URL del gráfico de tráfico por código de respuesta:

https://console.cloud.google.com/apis/api/monitoring.googleapis.com/metrics?folder=&organizationId=&project=YOUR_PROJECT_ID

Si ves mensajes de error, es posible que sea un problema que requiera una mayor investigación. En particular, busca una gran cantidad de mensajes de error 429, que indican un posible problema de cuota. Consulta la siguiente sección a fin de conocer los pasos para la solución de problemas.

Verifica la cuota correcta para la API de Cloud Monitoring

En la consola de Google Cloud, abre el menú IAM & Admin y verifica que haya una opción de Cuotas. Puedes acceder a esta página directamente mediante la siguiente URL:

https://console.cloud.google.com/iam-admin/quotas?project=YOUR_PROJECT_ID

En esta página, se muestra el conjunto completo de cuotas para el proyecto, en el que puedes buscar Cloud Monitoring API.

Verifica que no haya registros de errores en los proxies de Envoy

Revisa los registros del proxy en cuestión y busca las instancias de mensajes de error:

kubectl -n YOUR_NAMESPACE logs YOUR_POD_NAME -c istio-proxy

Sin embargo, ignora los mensajes de advertencia como los siguientes, que son normales:

[warning][filter] [src/envoy/http/authn/http_filter_factory.cc:83]
mTLS PERMISSIVE mode is used, connection can be either plaintext or TLS,
and client cert can be omitted. Please consider to upgrade to mTLS STRICT mode
for more secure configuration that only allows TLS connection with client cert.
See https://istio.io/docs/tasks/security/mtls-migration/ [warning][config]
[bazel-out/k8-opt/bin/external/envoy/source/common/config/_virtual_includes/grpc_stream_lib/common/config/grpc_stream.h:91]
gRPC config stream closed: 13

Verifica que metric.mesh_uid esté configurado correctamente

Abre el Explorador de métricas y ejecuta la siguiente consulta de MQL:

fetch istio_canonical_service
| metric 'istio.io/service/server/request_count'
| align delta(1m)
| every 1m
| group_by [metric.destination_canonical_service_namespace, metric.destination_canonical_service_name, metric.mesh_uid]

Verifica que todos los servicios esperados sean métricas de informes y que su metric.mesh_uid esté en el formato proj-<Cloud Service Mesh fleet project number>.

Nota: En el caso de las mallas de varios proyectos, el número de proyecto debe ser el proyecto de la flota, en lugar del proyecto host.

Si metric.mesh_uid tiene cualquier otro valor, el panel de Cloud Service Mesh no mostrará métricas. metric.mesh_uid se establece cuando se instala Cloud Service Mesh en el clúster, por lo que debes investigar tu método de instalación para ver si hay alguna forma de establecerlo en el valor esperado.

Faltan datos de telemetría de los servicios o los datos son incorrectos

De forma predeterminada, Cloud Monitoring y Cloud Logging están habilitados en tu proyecto de Google Cloud cuando instalas Cloud Service Mesh. Para informar datos de telemetría, cada proxy de sidecar que se incorpora en tus pods de servicio llama a la API de Cloud Monitoring y a la API de Cloud Logging. Después de implementar las cargas de trabajo, se necesitan alrededor de uno o dos minutos para que los datos de telemetría se muestren en la consola de Google Cloud. Cloud Service Mesh mantiene los paneles del servicio actualizados de forma automática:

• Para las métricas, los proxies de sidecar llaman a la API de Cloud Monitoring cada alrededor de un minuto.
• Para actualizar el gráfico de topología, los proxies de sidecar envían informes incrementales cada alrededor de un minuto e informes completos cada diez minutos.
• Para el registro, los proxies de sidecar llaman a la API de Cloud Logging cada alrededor de diez segundos.
• Para el seguimiento, debes habilitar Cloud Trace. Los seguimientos se informan según la frecuencia de muestreo configurada (en general, en una de cada 100 solicitudes).

Las métricas solo se muestran para los servicios HTTP en la página Métricas de Cloud Service Mesh. Si no ves ninguna métrica, verifica que todos los pods en el espacio de nombres de los servicios de tu aplicación tengan proxies de sidecar insertados:

kubectl get pod -n YOUR_NAMESPACE --all

En el resultado, observa que la columna READY muestra dos contenedores para cada una de tus cargas de trabajo: el contenedor principal y el contenedor del proxy de sidecar.

Además, en el panel Servicios solo se muestran métricas del servidor, por lo que es posible que los datos de telemetría no aparezcan si el cliente no está en la malla o si está configurado para informar solo las métricas del cliente (como las puertas de enlace de entrada).