Ver registros do cluster do Ray na Vertex AI

Ao executar tarefas com o cluster do Ray na Vertex AI, os registros de rastreamento são gerados e armazenados automaticamente no Cloud Logging e no Ray de código aberto. Nesta seção, descrevemos como acessar os registros gerados pelo console do Google Cloud.

Antes de começar, leia a Visão geral do Ray na Vertex AI e configure todas as ferramentas necessárias como pré-requisito.

Console do Cloud Logging

  1. No painel de navegação do console do Google Cloud, selecione Logging e clique em Análise de registros:

    Acessar a Análise de registros

  2. Selecione um projeto do Google Cloud, uma pasta ou uma organização.

  3. Para exibir todos os registros do Ray, insira a consulta a seguir no campo query-editor e clique em Executar consulta:

    resource.labels.task_name="ray-cluster-logs"

  4. Para reduzir os registros a um cluster do Ray específico, adicione a seguinte linha à consulta e clique em Executar consulta:

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    em que CLUSTER_NAME é o nome do seu cluster do Ray.

  5. Para reduzir ainda mais os registros a um arquivo de registro específico, como raylet.out, clique no nome do registro em Campos de registro -> Nome do registro.

  6. É possível agrupar entradas de registro semelhantes:

    1. Em Resultados da consulta, clique em uma entrada de registro para expandi-la.

    2. Em jsonPayload, clique no valor tailed_path. Será exibido um menu suspenso.

    3. Clique em Mostrar entradas correspondentes.

Shell do nó principal

É possível ver os arquivos de registro do Ray de código aberto pelo shell interativo no nó principal do Ray:

  1. No console do Google Cloud, acesse a página do Ray na Vertex AI.

    Acessar a página do Ray na Vertex AI

  2. Na linha do cluster que você criou, clique no menu mais ações.

  3. Selecione Shell interativo do nó principal. O shell abre em outra guia.

  4. Acesse o diretório /var/log-storage/:

    cd /var/log-storage/

  5. Acesse os registros do Ray no diretório session_DATE/logs/, em que DATE é a data em que você criou o cluster do Ray na Vertex AI.

A seguir