Vertex AI 上の Ray クラスタのログを表示する

Vertex AI 上の Ray クラスタでタスクを実行すると、トラッキング ログが自動的に生成され、Cloud Logging とオープンソース Ray の両方に保存されます。このセクションでは、生成されたログに Google Cloud コンソールからアクセスする方法について説明します。

始める前に、Ray on Vertex AI の概要を読み、前提条件となるすべてのツールを設定してください。

Cloud Logging コンソール

  1. Google Cloud コンソールのナビゲーション パネルで、[ロギング] を選択してから、[ログ エクスプローラ] を選択します。

    [ログ エクスプローラ] に移動

  2. 既存の Google Cloud プロジェクト、フォルダ、または組織を選択します。

  3. すべての Ray ログを表示するには、クエリエディタ フィールドに次のクエリを入力し、[クエリを実行] をクリックします。

    resource.labels.task_name="ray-cluster-logs"

  4. ログを特定の Ray クラスタに絞り込むには、クエリに次の行を追加して [クエリを実行] をクリックします。

    labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

    ここで、CLUSTER_NAME は Ray クラスタの名前です。

  5. ログを raylet.out などの特定のログファイルに絞り込むには、[ログのフィールド] -> [ログ名] でログの名前をクリックします。

  6. 類似のログエントリをグループ化できます。

    1. [クエリ結果] でログエントリをクリックしてログを展開します。

    2. jsonPayload で tailed_path の値をクリックします。プルダウン メニューが表示されます。

    3. [一致エントリを表示] をクリックします。

ヘッドノード シェル

オープンソースの Ray ログファイルは、Ray ヘッドノードのインタラクティブ シェルから表示できます。

  1. Google Cloud コンソールで、[Vertex AI での Ray] ページに移動します。

    [Vertex AI での Ray] ページに移動

  2. 作成したクラスタの行で、 [その他の操作] メニューをクリックします。

  3. [ヘッドノードのインタラクティブ シェル] を選択します。シェルが別のタブで開きます。

  4. /var/log-storage/ ディレクトリに移動します。

    cd /var/log-storage/

  5. session_DATE/logs/ ディレクトリにある Ray ログにアクセスします。ここで、DATE は Vertex AI で Ray クラスタを作成した日付です。

次のステップ