Supervisa las VM de Cloud TPU
En esta guía, se explica cómo usar Google Cloud Monitoring para supervisar tus VM de Cloud TPU. Google Cloud Monitoring recopila automáticamente métricas y registros de tu Cloud TPU y su host de Compute Engine. Estos datos se pueden usar para supervisar el estado de Cloud TPU y Compute Engine.
Las métricas te permiten hacer un seguimiento de una cantidad numérica a lo largo del tiempo, por ejemplo, el uso de CPU, el uso de red o la duración de inactividad de TensorCore. Los registros capturan eventos en un momento específico. Las entradas de registro se escriben con tu propio código, con los servicios de Google Cloud, con las aplicaciones de terceros y con la infraestructura de Google Cloud. También puedes generar métricas a partir de los datos presentes en una entrada de registro si creas una métrica basada en registros. También puedes configurar políticas de alertas basadas en valores de métricas o entradas de registro.
En esta guía, se analiza Google Cloud Monitoring y se muestra cómo realizar las siguientes acciones:
- Ver métricas de Cloud TPU
- Configura políticas de alertas de métricas de Cloud TPU
- Consulta registros de Cloud TPU
- Crea métricas basadas en registros para configurar alertas y visualizar paneles.
Requisitos previos
En este documento, se da por sentado que tienes conocimientos básicos sobre Google Cloud Monitoring. Debes tener una VM de Compute Engine y recursos de Cloud TPU creados antes de poder comenzar a generar y trabajar con Google Cloud Monitoring. Consulta la Guía de inicio rápido de Cloud TPU para obtener más detalles.
Métricas
Las métricas de Google Cloud se generan de forma automática mediante las VM de Compute Engine y el entorno de ejecución de Cloud TPU. Las VM de Cloud TPU generan las siguientes métricas:
memory/usagenetwork/received_bytes_countnetwork/sent_bytes_countcpu/utilizationtpu/tensorcore/idle_duration
Uso de memoria
La métrica memory/usage hace un seguimiento en bytes de la memoria que usa la VM de Cloud TPU. Esta métrica se muestrea cada 60 segundos. Puede tardar hasta 180 segundos entre el momento en que se genera un valor y el momento en que se muestra.
Recuento de bytes recibidos de red
La métrica network/received_bytes_count hace un seguimiento de la cantidad de bytes acumulativos de datos que recibió la VM de Cloud TPU en la red en un momento determinado. Puede tardar hasta 180 segundos entre el momento en que se genera un valor y el momento en que se muestra.
Recuento de bytes enviados de red
La métrica network/sent_bytes_count hace un seguimiento de la cantidad de bytes acumulativos que envió la VM de Cloud TPU a través de la red en un momento determinado. Puede tardar hasta 180 segundos entre el momento en que se genera un valor y el momento en que se muestra.
Uso de CPU
La métrica cpu/utilization realiza un seguimiento del uso de CPU actual en el trabajador de Cloud TPU, representado como porcentaje. Por lo general, los valores están entre 0.0 y 100.0, pero pueden exceder 100.0. Se tomaron muestras cada 60 segundos. Puede tardar hasta 180 segundos entre el momento en que se genera un valor y el momento en que se muestra.
Duración de inactividad de TensorCore
La métrica tpu/tensorcore/idle_duration realiza un seguimiento de la cantidad de segundos que cada chip de TPU de TensorCore estuvo inactivo. Esta métrica está disponible para cada chip en todos los Cloud TPU en uso. Si un TensorCore está en uso, el valor de duración de inactividad se restablece a cero. Cuando el TensorCore ya no está en uso, el valor de la duración de inactividad comienza a aumentar.
En el siguiente grafo, se muestra la métrica tpu/tensorcore/idle_duration para una VM de Cloud TPU v2-8 que tiene un trabajador. Cada trabajador tiene cuatro chips. En este ejemplo, los cuatro chips tienen los mismos valores para tpu/tensorcore/idle_duration, por lo que los grafos se superponen entre sí.
Para obtener una lista completa de las métricas que genera Cloud TPU, consulta las métricas de Cloud TPU de Google Cloud.
Cómo ver métricas
Puedes ver las métricas con el Explorador de métricas en Google Cloud Console.
En el Explorador de métricas, haz clic en SELECCIONAR UNA MÉTRICA y busca Cloud TPU Worker. Si la opción Mostrar solo recursos y métricas activos está activada, solo se mostrarán las métricas que se generan actualmente. Haz clic en Trabajador de Cloud TPU para mostrar las métricas disponibles.
También puedes acceder a las métricas mediante llamadas HTTP de curl:
Usa el botón Pruébalo en la documentación de projects.timeSeries.query para recuperar el valor de una métrica dentro del período especificado.
- Completa el nombre con el siguiente formato: projects/{project-name}
- Agrega una consulta a la sección Cuerpo de la solicitud. La siguiente es una consulta de muestra en la que se recupera la métrica de duración de inactividad para la zona especificada durante los últimos cinco minutos
fetch tpu_worker | filter zone = 'us-central2-b' | metric tpu.googleapis.com/tpu/tensorcore/idle_duration | within 5m - Haga clic en Ejecutar para realizar la llamada y ver los resultados del mensaje HTTP POST.
En el documento Referencia del lenguaje de consultas de Monitoring, se proporciona más información para personalizar esta consulta.
Puedes crear políticas de alertas que le indiquen a Google Cloud Monitoring que envíe una alerta cuando se cumpla una condición.
Crea alertas
En los pasos de esta sección, se muestra un ejemplo de cómo agregar una política de alertas para la métrica Duración de inactividad de TensorCore. Cuando esta métrica supera las 24 horas, Cloud Monitoring envía un correo electrónico a la dirección registrada.
- Ir a la consola de Monitoring
- En el panel de navegación, haga clic en Alertas.
- Haz clic en EDITAR NOTIFICACIONES DE CANALES
- En Correo electrónico, haga clic en AGREGAR NUEVO. Escribe una dirección de correo electrónico, un nombre visible y haz clic en GUARDAR.
- Haz clic en CREAR POLÍTICA.
- Haz clic en SELECCIONAR UNA MÉTRICA, selecciona Duración de inactividad de Tensorcore y, luego, haz clic en APLICAR.
- Haz clic en SIGUIENTE y, luego, en Umbral.
- En Alert activador, seleccione Cualquier serie temporal es una infracción
- En Umbral de posición, seleccione Por encima del umbral.
- En Threshold Value, escriba
86400000. - Haz clic en SIGUIENTE.
- En Canales de notificaciones, selecciona tu canal de notificaciones por correo electrónico y haz clic en Aceptar.
- Escribe un nombre para la política de alertas
- Haga clic en SIGUIENTE y, luego, en CREAR POLÍTICA
Cuando la duración de inactividad de TensorCore es de más de 24 horas, se envía un correo electrónico a la dirección que especificaste.
Registros
Las entradas de registro las escriben los servicios de Google Cloud, servicios de terceros, frameworks de AA o tu código. Puedes ver los registros con el visor de registros o la API de registros. Para obtener más información sobre Google Cloud Logging, consulta Google Cloud Logging.
En el Explorador de registros, puedes seleccionar un tipo de recurso:
- Trabajador de Cloud TPU -> Zona -> ID del nodo
- Recurso auditado -> Cloud TPU -> API (
google.cloud.tpu.v2alpha1.Tpu.CreateNode,google.cloud.tpu.v2alpha1.Tpu.DeleteNode,google.cloud.tpu.v2alpha1.Tpu.UpdateNode)
Los registros de los trabajadores de Cloud TPU contienen información sobre un trabajador específico de Cloud TPU en una zona específica, por ejemplo, la cantidad de memoria disponible en el trabajador de Cloud TPU (system_available_memory_GiB).
Los registros de recursos auditados contienen información sobre cuándo se llamó a una API de Cloud TPU específica y quién realizó la llamada. Por ejemplo, CreateNode, UpdateNode y DeleteNode.
Los frameworks de AA pueden generar registros en stdout y stderr. Los registros se controlan mediante variables de entorno y se leen mediante tu secuencia de comandos de entrenamiento.
Tu código puede escribir registros en Google Cloud Logging. Para obtener más información, consulta Escribe registros estándar y Escribe registros estructurados.
Para ver los registros de Cloud TPU, haz lo siguiente:
- Ir al visor de registros de Google Cloud
- Haz clic en el menú desplegable Recurso.
- Haz clic en Trabajador de Cloud TPU.
- Selecciona una zona
- Selecciona la Cloud TPU que te interesa
- Haz clic en Aplicar. Los registros se muestran en los resultados de la consulta
Para ver los registros de recursos auditados, sigue estos pasos:
- Ir al visor de registros de Google Cloud
- Haz clic en el menú desplegable Recurso.
- Haz clic en Audited Resource (Recurso auditado) y, luego, en Cloud TPU.
- Elige la API de Cloud TPU que te interesa
- Haz clic en Aplicar. Los registros se muestran en los resultados de la consulta
- Elige las API que comienzan con
google.cloud.tpu.v2alpha1.Tpu
Consulta los registros de Google Cloud
Cuando visualizas registros en Google Cloud Console, la página realiza una consulta predeterminada.
Para ver la consulta, selecciona el interruptor de activación Show query. Puedes modificar la consulta predeterminada o crear una nueva. Para obtener más información, consulta Compila consultas en el Explorador de registros.
Información sobre el resultado del registro de los registros de recursos auditados
Haz clic en cualquier entrada de registro para expandirla y encontrarás un campo llamado protoPayload.
Expande protoPayload y verás una serie de subcampos:
- logName: el nombre del registro
- protoPayload -> @type: el tipo de registro
- resourceName: es el nombre de tu Cloud TPU.
- methodName: El nombre del método al que se llama (solo registros de auditoría)
- request -> @type: el tipo de solicitud
- request -> node: Detalles sobre el nodo de Cloud TPU
- request -> node_id: el nombre de la TPU
- severity: la gravedad del registro.
Información sobre el resultado del registro de los trabajadores de Cloud TPU
Haz clic en cualquier entrada de registro para expandirla y encontrarás un campo llamado jsonPayload.
Expande jsonPayload y verás una serie de subcampos:
- accelerator_type: el tipo del acelerador
- consumer_project (proyecto de consumidor): el proyecto donde reside la Cloud TPU
- evententry_timestamp: la hora en que se generó el registro
- system_available_memory_GiB: memoria disponible en el trabajador de Cloud TPU (0 ~ 350 GiB)
Crea métricas basadas en registros
En esta sección, se describe cómo crear métricas basadas en registros que se utilizan para configurar paneles de supervisión y alertas. Para obtener información sobre cómo crear métricas basadas en registros de manera programática, consulta Crea métricas basadas en registros de manera programática mediante la API de REST de Cloud Logging.
En el siguiente ejemplo, se usa el subcampo system_available_memory_GiB a fin de demostrar cómo crear una métrica basada en registros para supervisar la memoria disponible del trabajador de Cloud TPU.
- Navega al Explorador de registros
En el cuadro de consulta, ingresa la consulta siguiente a fin de extraer todas las entradas de registro que tienen system_available_memory_GiB definido para el trabajador principal de Cloud TPU:
resource.type=tpu_worker resource.labels.project_id=your-project resource.labels.zone=your-tpu-zone resource.labels.node_id=your-tpu-name resource.labels.worker_id=0 logName=projects/your-project/logs/tpu.googleapis.com%2Fruntime_monitor jsonPayload.system_available_memory_GiB:*
Haz clic en Crear métrica para mostrar el Editor de métricas.
En Tipo de métrica, elige Distribución
Escribe un nombre, una descripción opcional y una unidad de medida para tu métrica. ingresa los campos “matrix_unit_utilization_percent” y “MXU usage” en los campos Nombre y Descripción, respectivamente.
El filtro se prepropaga con la secuencia de comandos que ingresó en el Explorador de registros (Logs Explorer).
Haga clic en CREAR MÉTRICA.
Haga clic en Explorar métricas para ver su métrica nueva. Es posible que las métricas tarden unos minutos en aparecer
Crea métricas basadas en registros de manera programática mediante la API de REST de Cloud Logging
También puedes crear métricas basadas en registros a través de la API de Cloud Logging. Para obtener más información, consulta Crea una métrica de distribución.
Crea paneles y alertas con métricas basadas en registros
Los paneles son útiles para visualizar métricas (espera un retraso de aproximadamente 2 minutos); las alertas son útiles para enviar notificaciones cuando se producen errores. Para obtener más información, consulta Administra paneles personalizados y Crea políticas de alertas basadas en métricas.
Crea paneles
A fin de crear un panel en Cloud Monitoring para la métrica Duración de inactividad de Tensorcore, haz lo siguiente:
- Ir a la consola de Monitoring
- En el panel de navegación, haz clic en Paneles
- Haga clic en CREAR PANEL y, luego, en Agregar gráfico.
- Elige el tipo de gráfico que quieres agregar. Para este ejemplo, elige Línea
- Escribe un título para el panel.
- Haz clic en el botón debajo de Resource & amp; Metric.
- Desplázate hacia abajo en la lista de recursos/métricas y selecciona Trabajador de Cloud TPU -> Tpu -> Duración de inactividad del tensor.
- Haga clic en Aplicar.
- Para filtrar el contenido del panel, haz clic en CREAR FILTROS DEL PANEL
- En el campo Etiqueta (Label), configura project_id para tu proyecto
- Haz clic en AGREGAR y establece la zona en la que creaste la TPU
- Agrega otro filtro para node_id y especifica tu nombre de Cloud TPU