Monitorize o seu cluster do Ray no Vertex AI

Esta página aborda como ver os registos de acompanhamento associados aos seus clusters Ray e monitorizar as métricas do Ray na Vertex AI. Também são fornecidas orientações para a depuração de clusters do Ray.

Ver registos

Quando realiza tarefas com o cluster do Ray no Vertex AI, os registos de acompanhamento são gerados e armazenados automaticamente no Cloud Logging e no painel de controlo do Ray de código aberto. Esta secção descreve como aceder aos registos gerados através da consola Google Cloud .

Antes de começar, certifique-se de que lê a vista geral do Ray no Vertex AI e configura todas as ferramentas necessárias.

Painel de controlo do Ray OSS

Pode ver os ficheiros de registo do Ray de código aberto através do painel de controlo do Ray OSS:

  1. Na Google Cloud consola, aceda à página Ray no Vertex AI.

    Aceda à página do Ray no Vertex AI

  2. Na linha do cluster que criou, selecione o menu mais ações.

  3. Selecione o link do painel de controlo do Ray OSS. O painel de controlo é aberto noutro separador.

  4. Navegue para a vista Registos no canto superior direito do menu:

    Registos do painel de controlo do Ray

  5. Clique em cada nó para ver os ficheiros de registo associados a esse nó.

Consola do Cloud Logging

  1. Na Google Cloud consola, aceda à página Explorador de registos:

    Aceda ao Explorador de registos

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cuja legenda é Registo.

  2. Selecione um Google Cloud projeto, uma pasta ou uma organização existente.

  3. Para apresentar todos os registos do Ray, introduza a seguinte consulta no campo do editor de consultas e, de seguida, clique em Executar consulta:

    resource.labels.task_name="ray-cluster-logs"

  4. Para restringir os registos a um cluster Ray específico, adicione a seguinte linha à consulta e, de seguida, clique em Executar consulta:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    Substitua CLUSTER_NAME pelo nome do cluster do Ray. Na Google Cloud consola, aceda a Vertex AI > Ray no Vertex AI, onde vê uma lista de nomes de clusters em cada região.

  5. Para restringir ainda mais os registos a um ficheiro de registo específico, como raylet.out, clique no nome do registo em Campos de registo -> Nome do registo.

  6. Pode agrupar entradas de registo semelhantes:

    1. Nos Resultados da consulta, clique numa entrada do registo para expandir o registo.

    2. Em jsonPayload, clique no valor tailed_path. É apresentado um menu pendente.

    3. Clique em Mostrar entradas correspondentes.

Desative os registos

Por predefinição, o Ray no Vertex AI Cloud Logging está ativado.

  • Para desativar a exportação de registos do Ray para o Cloud Logging, use o seguinte comando do SDK do Vertex AI para Python:

    vertex_ray.create_ray_cluster(..., enable_logging=False, ...)

Pode ver os ficheiros de registo do Ray no painel de controlo do Ray, mesmo que a funcionalidade Ray no Vertex AI Cloud Logging esteja desativada.

Monitorize métricas

Pode ver as métricas do Ray no Vertex AI de diferentes formas através da Google Cloud Monitorização (GCM). Em alternativa, pode exportar as métricas do GCM para o seu próprio servidor Grafana.

Monitorize métricas no GCM

Existem duas formas de ver as métricas do Ray no Vertex AI no GCM.

  • Use a vista direta em Explorador de métricas.

  • Importe o painel de controlo do Grafana.

Explorador de métricas

Para usar a vista direta em Explorador de métricas, siga estes passos:

  1. Aceda à consola do Google Cloud Monitoring.
  2. Em Explorar, selecione Explorador de métricas.
  3. Em Recursos ativos, selecione Alvo do Prometheus. Categorias de métricas ativas é apresentado.

  4. Selecione Ray.

    É apresentada uma lista de métricas:

    selecione a métrica
  5. Selecione as métricas que quer monitorizar. Por exemplo:
    1. Escolha a percentagem de utilização da CPU como uma métrica monitorizada:
      utilization-target
    2. Selecione um filtro. Por exemplo, selecione o cluster:
      adicionar o filtro necessário Use o ID do cluster para monitorizar apenas as métricas acima para um cluster específico. Para localizar o ID do cluster, siga estes passos:

      1. Na Google Cloud consola, aceda à página Ray.

        Aceda ao Ray

      2. Certifique-se de que está no projeto no qual quer criar a experiência.
        Vertex AI select project
      3. Em Nome, é apresentada uma lista de IDs de clusters.
      selecione a métrica
    3. Selecione o método de agregação para ver as métricas. Ou seja, pode optar por ver métricas não agregadas, que mostram a utilização da CPU de cada processo do Ray:
      métricas não agregadas

Painel de controlo do GCM

Para importar um painel de controlo do Grafana para o Ray no Vertex AI, siga as diretrizes no painel de controlo do Cloud Monitoring, Importe o seu próprio painel de controlo do Grafana.

painel de controlo de monitorização

Só precisa de um ficheiro JSON do painel de controlo do Grafana. O OSS Ray suporta esta configuração manual através do fornecimento do ficheiro JSON do painel de controlo predefinido do Grafana.

Monitorize métricas

Do Grafana pertencente ao utilizador

Se já tiver um servidor Grafana em execução, também existe uma forma de exportar todas as métricas do cluster Ray no Vertex AI Prometheus para o seu servidor Grafana existente. Para isso, siga as orientações de consulta com o Grafana do GMP. Isto permite-lhe adicionar uma nova origem de dados do Grafana ao seu servidor do Grafana existente e usar o sincronizador de origens de dados para sincronizar a nova origem de dados do Grafana Prometheus com o Ray nas métricas do Vertex AI.

É importante que configure e autentique a origem de dados do Grafana adicionada recentemente através do sincronizador de origens de dados. Siga os passos indicados em Configure e autentique a origem de dados do Grafana.

Depois de sincronizadas, pode criar e adicionar qualquer painel de controlo de que precise com base nas métricas do Ray no Vertex AI.

Por predefinição, as recolhas de métricas do Ray na Vertex AI estão ativadas. Veja como desativá-los através do SDK do Vertex AI para Python:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

Depure clusters do Ray

Para depurar clusters do Ray, use a shell interativa do nó principal:

Google Cloud consola

Para aceder ao shell interativo do nó principal, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Ray no Vertex AI.
    Aceda ao Ray no Vertex AI
  2. Certifique-se de que está no projeto correto.
    Vertex AI select project
  3. Selecione o cluster que quer examinar. É apresentada a secção Informações básicas.
  4. Na secção Links de acesso, clique no link para Shell interativo do nó principal. É apresentada a shell interativa do nó principal.
  5. Siga as instruções descritas no artigo Monitorize e depure o treino com uma shell interativa.

O que se segue?