Google Kubernetes Engine（GKE）上の Ray クラスタのログと指標を収集して表示する

Autopilot Standard

このページでは、Google Kubernetes Engine（GKE）で実行されている Ray クラスタのログと指標を収集するように Google Kubernetes Engine（GKE）を構成する方法と、Cloud Logging と Cloud Monitoring で Ray のログと指標を表示する方法について説明します。

Ray と KubeRay の詳細については、Ray on Google Kubernetes Engine（GKE）の概要をご覧ください。

始める前に

作業を始める前に、次のタスクが完了していることを確認してください。

• Google Kubernetes Engine API を有効にする。
Google Kubernetes Engine API の有効化
• このタスクに Google Cloud CLI を使用する場合は、gcloud CLI をインストールして初期化する。すでに gcloud CLI をインストールしている場合は、gcloud components update コマンドを実行して最新のバージョンを取得します。以前のバージョンの gcloud CLI では、このドキュメントのコマンドを実行できない場合があります。
  注: gcloud CLI がすでにインストールされている場合には、必ず compute/region プロパティを設定してください。主にゾーンクラスタを使用する場合は、代わりに compute/zone を設定します。デフォルトのロケーションを設定することで、gcloud CLI のエラー（One of [--zone, --region] must be supplied: Please specify location など）を防止できます。クラスタのロケーションが設定したデフォルトと異なる場合は、特定のコマンドでロケーションの指定が必要になることがあります。

• Google Kubernetes Engine（GKE）で Ray Operator を有効にする

要件と制限事項

• Ray クラスタのロギングを有効にする前に、既存の GKE クラスタでシステムとワークロードのロギングを有効にする必要があります。
• 既存の GKE クラスタで Ray クラスタのログ収集を有効にすると、GKE は既存の Ray Pod ではなく、新しく作成された Ray Pod からのみログを収集します。
• GKE Standard クラスタの場合、Ray クラスタの指標の収集を有効にするには、Google Cloud Managed Service for Prometheus を有効にする必要があります。Autopilot クラスタの場合、Google Cloud Managed Service for Prometheus はデフォルトで有効になっています。
• Ray クラスタ内の Ray コンテナで ray-logs という名前のボリュームを指定しないでください。指定すると、GKE はログを収集しません。

Ray クラスタのログ収集を有効にする

Ray クラスタのログ収集は、新規または既存の GKE Autopilot または Standard クラスタで有効にできます。GKE が Ray クラスタから収集する Ray ログは、コンテナログとして分類されます。これには、Ray クラスタ ヘッダーノードとワーカーノードで生成されたすべてのログが含まれます。

Ray クラスタに対するログ収集を有効にするには、 Google Cloud コンソールまたは gcloud CLI を使用します。

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine ページに移動します。

   Google Kubernetes Engine に移動

2. [作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。

3. ナビゲーション パネルの [クラスタ] の下の [機能] をクリックします。

4. [オペレーション] セクションで、[System and Workloads] チェックボックスがオンになっていることを確認します。

5. [AI と ML] セクションで、[Ray Operator の有効化] を選択してから、[Ray クラスタのログ収集を有効にする] を選択します。

6. [作成] をクリックします。

Standard クラスタの場合は、Google Cloud Managed Service for Prometheus も有効にする必要があります。

gcloud

--addons=RayOperator オプションと --enable-ray-cluster-logging オプションを使用してクラスタを作成します。

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --addons=RayOperator \
    --enable-ray-cluster-logging

次のように置き換えます。

• CLUSTER_NAME: 新しいクラスタの名前。
• LOCATION: 新しいクラスタのロケーション（us-central1 など）。

既存のクラスタで Ray クラスタのログ収集を有効にするには、--addons=RayOperator オプションと --enable-ray-cluster-logging オプションを指定して gcloud container clusters update コマンドを使用します。

注: GKE では、[Ray クラスタのログ収集を有効にする] オプションを選択していなくても、Ray Operator によって Ray ヘッド Pod とワーカー Pod（標準出力と標準エラー）からログが収集されることがあります。GKE では、標準出力または標準エラーに書き込まれたすべてのワークロード ログがデフォルトで自動的に収集されることから、これは想定どおりの動作です。[Ray クラスタのログ収集を有効にする] チェックボックスでは、このようなデフォルトのワークロード ログとは別に、Ray 固有の追加ログの収集を具体的に指定します。Cloud Logging にデフォルトで送信されるログを管理し、ロギング量を削減するには、GKE ログについてのページをご覧ください。

Ray ログを確認する

Logging を使用して、GKE で実行されている Ray クラスタから収集されたログを確認できます。

1. Google Cloud コンソールの [Cloud Logging] ページに移動します。

   [Cloud Logging] に移動

2. クエリエディタを開き、クエリエディタに式を貼り付けます。

3. [クエリを実行] をクリックします。

ログ エクスプローラでは、次のサンプルクエリを使用できます。

クエリ / フィルタの名前	式
すべての Ray ログ	resource.type="k8s_container" labels."k8s-pod/ray_io/is-ray-node"="yes"
すべての Ray ヘッドログ	resource.type="k8s_container" labels."k8s-pod/ray_io/node-type"="head"
Ray クラスタ内のすべてのログ	resource.type="k8s_container" labels."k8s-pod/ray_io/cluster"="RAY_CLUSTER_NAME"
Ray ジョブのすべてのログ	resource.type="k8s_container" jsonPayload.ray_submission_id="RAY_JOB_SUBMISSION_ID"

Ray クラスタの指標の収集を有効にする

新規または既存の GKE Autopilot または Standard クラスタで Ray クラスタの指標の収集を有効にできます。

Ray クラスタの指標の収集を有効にすると、GKE は既存の Ray クラスタと新しい Ray クラスタから指標を収集します。GKE は、Ray によってエクスポートされたすべてのシステム指標を Prometheus 形式で収集します。

Ray クラスタの指標の収集は、Google Cloud コンソールまたは gcloud CLI を使用して有効にすることができます。

コンソール

1. Google Cloud コンソールで Google Kubernetes Engine ページに移動します。

   Google Kubernetes Engine に移動

2. [作成] をクリックし、[Standard] セクションまたは [Autopilot] セクションで [構成] をクリックします。

3. ナビゲーション パネルの [クラスタ] の下の [機能] をクリックします。

4. [オペレーション] セクションで、[System and Workloads] チェックボックスがオンになっていることを確認します。

5. [AI と ML] セクションで、[Ray Operator の有効化] を選択してから、[Ray クラスタの指標の収集を有効にする] を選択します。

6. [作成] をクリックします。

Standard クラスタの場合は、Google Cloud Managed Service for Prometheus も有効にする必要があります。

gcloud

--addons=RayOperator オプションと --enable-ray-cluster-monitoring オプションを使用してクラスタを作成します。

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --addons=RayOperator \
    --enable-ray-cluster-monitoring

次のように置き換えます。

• CLUSTER_NAME: 新しいクラスタの名前。
• LOCATION: 新しいクラスタのロケーション（us-central1 など）。

既存のクラスタで Ray クラスタのログ収集を有効にするには、--addons=RayOperator オプションと --enable-ray-cluster-monitoring オプションを指定して gcloud container clusters update コマンドを使用します。

Ray の指標を確認する

Google Cloud Managed Service for Prometheus には、事前構成された Ray on GKE の概要のダッシュボードが用意されています。このダッシュボードには、主要な Ray 指標が一元的に表示されます。これは、GKE で Ray クラスタのモニタリングを迅速に開始するうえでおすすめの方法です。

Ray on GKE の概要ダッシュボードに移動

Ray クラスタに対して指標の収集を有効にすると、このダッシュボードにデータが自動的に入力されます。

GKE 上で動作している Ray クラスタから収集された個々の指標を確認する場合は、次の手順で操作します。

1. Google Cloud コンソールの [Metrics Explorer] ページに移動します。

   [Metrics Explorer] に移動

2. [指標を選択] フィールドで、Ray 固有の指標を検索できます。通常、これらの指標には prometheus/ray_ という接頭辞が付いています。たとえば、prometheus/ray_worker_cpu_seconds_total や prometheus/ray_memory_bytes_max などがあります。

3. 適切なリソースタイプ（k8s_pod、k8s_container など）を選択し、Ray クラスタに関連するラベル（ray.io/cluster など）でフィルタ処理することで、検索結果を絞り込むことができます。

次のステップ

• Ray on Kubernetes について学習する。
• KubeRay のドキュメントを確認する。