Monitorizar un clúster de Ray en Vertex AI

En esta página se explica cómo ver los registros de seguimiento asociados a tus clústeres de Ray y monitorizar las métricas de Ray en Vertex AI. También se ofrecen directrices para depurar clústeres de Ray.

Ver registros

Cuando realizas tareas con tu clúster de Ray en Vertex AI, se generan automáticamente registros de seguimiento que se almacenan tanto en Cloud Logging como en el panel de control de Ray de código abierto. En esta sección se describe cómo acceder a los registros generados a través de la consola Google Cloud .

Antes de empezar, lee la descripción general de Ray en Vertex AI y configura todas las herramientas necesarias.

Panel de control de Ray OSS

Puedes ver los archivos de registro de Ray de código abierto a través del panel de control de Ray OSS:

  1. En la Google Cloud consola, ve a la página Ray en Vertex AI.

    Ir a la página Ray en Vertex AI

  2. En la fila del clúster que has creado, selecciona el menú más acciones.

  3. Selecciona el enlace al panel de control de Ray OSS. El panel de control se abrirá en otra pestaña.

  4. En el menú, ve a la vista Registros, situada en la esquina superior derecha:

    Registros del panel de control de Ray

  5. Haga clic en cada nodo para ver los archivos de registro asociados a él.

Consola de Cloud Logging

  1. En la Google Cloud consola, ve a la página Explorador de registros:

    Ve al Explorador de registros.

    Si usas la barra de búsqueda para encontrar esta página, selecciona el resultado cuya sección sea Registro.

  2. Selecciona un proyecto, una carpeta o una organización Google Cloud .

  3. Para mostrar todos los registros de Ray, introduce la siguiente consulta en el campo del editor de consultas y haz clic en Ejecutar consulta:

    resource.labels.task_name="ray-cluster-logs"

  4. Para acotar los registros a un clúster de Ray específico, añade la siguiente línea a la consulta y, a continuación, haz clic en Ejecutar consulta:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    Sustituye CLUSTER_NAME por el nombre de tu clúster de Ray. En la Google Cloud consola, ve a Vertex AI > Ray en Vertex AI, donde verás una lista de nombres de clústeres en cada región.

  5. Para acotar aún más los registros a un archivo de registro específico, como raylet.out, haz clic en el nombre del registro en Campos de registro -> Nombre del registro.

  6. Puedes agrupar entradas de registro similares:

    1. En Resultados de la consulta, haz clic en una entrada de registro para desplegarlo.

    2. En jsonPayload, haz clic en el valor tailed_path. Aparecerá un menú desplegable.

    3. Haz clic en Mostrar entradas coincidentes.

Inhabilitar registros

De forma predeterminada, Ray en Vertex AI Cloud Logging está habilitado.

  • Para inhabilitar la exportación de registros de Ray a Cloud Logging, usa el siguiente comando del SDK de Vertex AI para Python:

    vertex_ray.create_ray_cluster(..., enable_logging=False, ...)

Puedes ver los archivos de registro de Ray en el panel de control de Ray aunque la función Ray en Cloud Logging de Vertex AI esté inhabilitada.

Monitorizar métricas

Puedes ver las métricas de Ray en Vertex AI de diferentes formas mediante Google Cloud Monitoring (GCM). También puede exportar las métricas de GCM a su propio servidor de Grafana.

Monitorizar métricas en GCM

Hay dos formas de ver las métricas de Ray en Vertex AI en GCM.

  • Usa la vista directa de Explorador de métricas.

  • Importa el panel de control de Grafana.

Explorador de métricas

Para usar la vista directa en Explorador de métricas, sigue estos pasos:

  1. Ve a la consola de Google Cloud Monitoring.
  2. En Explorar, seleccione Explorador de métricas.
  3. En Recursos activos, selecciona Objetivo de Prometheus. Categorías de métricas activas.

  4. Selecciona Ray.

    Aparecerá una lista de métricas:

    Seleccionar métrica
  5. Selecciona las métricas que quieras monitorizar. Por ejemplo:
    1. Elige el porcentaje de uso de CPU como métrica monitorizada:
      utilization-target
    2. Selecciona un filtro. Por ejemplo, selecciona un clúster:
      añadir el filtro necesario Usa el ID de clúster para monitorizar solo las métricas anteriores de un clúster específico. Para localizar tu ID de clúster, sigue estos pasos:

      1. En la Google Cloud consola, ve a la página Ray.

        Ir a Ray

      2. Asegúrate de que estás en el proyecto en el que quieres crear el experimento.
        Vertex AI select project
      3. En Nombre, aparece una lista de IDs de clústeres.
      Seleccionar métrica
    3. Seleccione el método de Agregación para ver las métricas. Es decir, puede ver métricas sin agregar, que muestran la utilización de la CPU de cada proceso de Ray:
      Métricas sin agregar

Panel de control de GCM

Para importar un panel de Grafana para Ray en Vertex AI, sigue las directrices del panel de control de Cloud Monitoring Importar un panel de Grafana.

Panel de control de monitorización

Solo necesitas un archivo JSON de panel de control de Grafana. OSS Ray admite esta configuración manual proporcionando el archivo JSON predeterminado del panel de control de Grafana.

Monitorizar métricas

desde Grafana propiedad del usuario

Si ya tienes un servidor de Grafana en funcionamiento, también puedes exportar todas las métricas de Prometheus del clúster de Ray en Vertex AI a tu servidor de Grafana. Para ello, sigue las instrucciones de la sección Consultar con Grafana de la guía de GMP. De esta forma, puedes añadir una nueva fuente de datos de Grafana a tu servidor de Grafana y usar el sincronizador de fuentes de datos para sincronizar la nueva fuente de datos de Grafana Prometheus con las métricas de Ray en Vertex AI.

Es importante que configure y autentique la fuente de datos de Grafana que acaba de añadir mediante el sincronizador de fuentes de datos. Sigue los pasos que se indican en Configurar y autenticar la fuente de datos de Grafana.

Una vez sincronizado, puedes crear y añadir los paneles de control que necesites en función de las métricas de Ray en Vertex AI.

De forma predeterminada, la recogida de métricas de Ray en Vertex AI está habilitada. Para inhabilitarlos con el SDK de Vertex AI para Python, sigue estos pasos:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

Depurar clústeres de Ray

Para depurar clústeres de Ray, usa el shell interactivo del nodo principal:

Google Cloud consola

Para acceder al shell interactivo del nodo principal, sigue estos pasos:

  1. En la Google Cloud consola, ve a la página Ray en Vertex AI.
    Ir a Ray en Vertex AI
  2. Asegúrate de que estás en el proyecto correcto.
    Vertex AI select project
  3. Selecciona el clúster que quieras examinar. Aparecerá la sección Información básica.
  4. En la sección Access links (Enlaces de acceso), haz clic en el enlace de Head node interactive shell (Shell interactivo del nodo principal). Aparece el shell interactivo del nodo principal.
  5. Sigue las instrucciones que se indican en el artículo Monitorizar y depurar entrenamientos con un shell interactivo.

Siguientes pasos