Cette page explique comment afficher les journaux de suivi associés à vos clusters Ray et surveiller les métriques Ray sur Vertex AI. Des conseils pour le débogage des clusters Ray sont également fournis.
Voir les journaux
Lorsque vous effectuez des tâches avec votre cluster Ray sur Vertex AI, les journaux de suivi sont automatiquement générés et stockés dans Cloud Logging et le tableau de bord Ray Open Source. Cette section explique comment accéder aux journaux générés via la console Google Cloud.
Avant de commencer, veillez à lire la Présentation de Ray sur Vertex AI et à configurer tous les outils prérequis.Tableau de bord Ray OSS
Vous pouvez afficher les fichiers journaux Ray Open Source via le tableau de bord Ray OSS :
Dans la console Google Cloud, accédez à la page Ray sur Vertex AI.
Sur la ligne du cluster que vous avez créé, sélectionnez le menu Autres actions.
Sélectionnez le lien du tableau de bord Ray OSS. Le tableau de bord s'ouvre dans un autre onglet.
Accédez à la vue Journaux en haut à droite du menu :
Cliquez sur chaque nœud pour afficher les fichiers journaux qui lui sont associés.
Console Cloud Logging
-
Dans la console Google Cloud, accédez à la page Explorateur de journaux.
Accéder à l'explorateur de journaux
Si vous utilisez la barre de recherche pour trouver cette page, sélectionnez le résultat dont le sous-titre est Logging.
Sélectionnez un projet, une organisation ou un dossier Google Cloud existant.
Pour afficher tous les journaux Ray, saisissez la requête suivante dans le champ de l'éditeur de requête, puis cliquez sur Exécuter la requête :
resource.labels.task_name="ray-cluster-logs"
Pour limiter les journaux à un cluster Ray spécifique, ajoutez la ligne suivante à la requête, puis cliquez sur Exécuter la requête :
labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME
Remplacez CLUSTER_NAME par le nom de votre cluster Ray. Dans la console Google Cloud, accédez à Vertex AI > Ray sur Vertex AI. La liste des noms de clusters s'affiche dans chaque région.
Pour limiter les journaux à un fichier journal spécifique tel que
raylet.out, cliquez sur le nom du journal sous Champs de journal -> Nom du journal.Vous pouvez regrouper des entrées de journal similaires :
Dans les résultats de la requête, cliquez sur une entrée de journal pour développer le journal.
Dans le champ
jsonPayload, cliquez sur la valeurtailed_path. Un menu déroulant apparaît.Cliquez sur Afficher les entrées correspondantes.
Surveiller les métriques
Vous pouvez afficher les métriques Ray sur Vertex AI de différentes manières à l'aide de Google Cloud Monitoring (GCM). Vous pouvez également exporter les métriques de GCM vers votre propre serveur Grafana.
Surveiller les métriques dans GCM
Deux options s'offrent à vous pour afficher les métriques Ray sur Vertex AI dans GCM.
- Utilisez la vue directe sous Explorateur de métriques.
Importez le tableau de bord Grafana.
Explorateur de métriques
Pour utiliser la vue directe dans Metrics Explorer, procédez comme suit :
- Accédez à la console Google Cloud Monitoring.
- Sous Explorer, sélectionnez Explorateur de métriques.
- Sous Ressources actives, sélectionnez Cible Prometheus. Les Catégories de métriques actives s'affichent.
Sélectionnez Ray.
Une liste de métriques s'affiche :
- Sélectionnez les métriques que vous souhaitez surveiller. Exemple :
- Choisissez le pourcentage d'utilisation du processeur en tant que métrique surveillée :
- Sélectionnez un filtre. Par exemple, sélectionnez un cluster :
Utilisez l'ID de cluster pour surveiller uniquement les métriques supérieures pour un cluster spécifique. Pour trouver votre ID de cluster, procédez comme suit :
Dans la console Google Cloud, accédez à la page Ray.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="bash7VfS7v97kFMfFswzsVtigmNHgUGOXn/QVSGplOhkmlzdEQDMMH4jcjHScfwvp9a4rZoGntItFjPzhvIvOg==" target="console" track-name="consoleLink" track-type="tasks" }="">Accéder à Ray</a{:>
- Assurez-vous que vous êtes dans le projet dans lequel vous souhaitez créer le test.
- Sous Nom, une liste d'ID de cluster s'affiche.
- Sélectionnez la méthode Agrégation pour afficher les métriques. En d'autres termes, vous pouvez choisir d'afficher les métriques non agrégées, qui indiquent l'utilisation du processeur pour chaque processus Ray :
- Choisissez le pourcentage d'utilisation du processeur en tant que métrique surveillée :
Tableau de bord GCM
Pour importer un tableau de bord Grafana pour Ray sur Vertex AI, suivez les instructions de la section Importer votre propre tableau de bord Grafana du tableau de bord Cloud Monitoring.
Vous avez seulement besoin d'un fichier JSON de tableau de bord Grafana. OSS Ray est compatible avec cette configuration manuelle en fournissant le fichier JSON Grafana du tableau de bord par défaut.
Surveiller les métriques de Grafana, appartenant à l'utilisateur
Si vous disposez déjà d'un serveur Grafana en cours d'exécution, il est également possible d'exporter toutes les métriques du cluster Ray sur Vertex AI Prometheus vers votre serveur Grafana existant. Pour ce faire, suivez les instructions de GMP Interroger à l'aide de Grafana. Cela vous permet d'ajouter une source de données Grafana à votre serveur Grafana existant, et d'utiliser le synchroniseur de sources de données pour synchroniser la nouvelle source de données Grafana Prometheus avec les métriques Ray sur Vertex AI.
Il est important de configurer et d'authentifier la source de données Grafana qui vient d'être ajoutée à l'aide du synchroniseur de sources de données. Suivez la procédure décrite dans Configurer et authentifier la source de données Grafana.
Une fois la synchronisation effectuée, vous pouvez créer et ajouter le tableau de bord dont vous avez besoin en fonction des métriques Ray sur Vertex AI.
Par défaut, les collections de métriques Ray sur Vertex AI sont activées. Voici comment les désactiver à l'aide du SDK Vertex AI pour Python :
vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)
Déboguer les clusters Ray
Pour déboguer les clusters Ray, utilisez l'interface système interactive du nœud principal :
Console Google Cloud
Pour accéder à l'interface système interactive du nœud principal, procédez comme suit :
- Dans la console Google Cloud, accédez à la page Ray sur Vertex AI.
<a{: class="button button-primary" l10n-attrs-original-order="href,target,class,track-name,track-type" l10n-encrypted-href="bash7VfS7v97kFMfFswzsVtigmNHgUGOXn/QVSGplOhkmlzdEQDMMH4jcjHScfwvp9a4rZoGntItFjPzhvIvOg==" target="console" track-name="consoleLink" track-type="tasks" }="">Accéder à Ray sur Vertex AI </a{:> - Assurez-vous d'être dans le bon projet.
- Sélectionnez le cluster que vous souhaitez examiner. La section Informations générales s'affiche.
- Dans la section Accéder aux liens, cliquez sur le lien Interface système interactive du nœud principal. L'interface système interactive du nœud principal s'affiche.
- Suivez les instructions décrites dans la section Surveiller et déboguer l'entraînement avec une interface système interactive.