Memantau cluster Ray Anda di Vertex AI

Halaman ini membahas cara melihat log pelacakan yang terkait dengan cluster Ray dan memantau metrik Ray on Vertex AI. Panduan untuk men-debug cluster Ray juga disediakan.

Melihat log

Saat Anda menjalankan tugas dengan cluster Ray di Vertex AI, log pelacakan akan otomatis dibuat dan disimpan di Cloud Logging dan dasbor Ray open source. Bagian ini menjelaskan cara mengakses log yang dihasilkan melalui konsol Google Cloud .

Sebelum memulai, pastikan untuk membaca ringkasan Ray di Vertex AI dan menyiapkan semua alat prasyarat yang Anda butuhkan.

Dasbor Ray OSS

Anda dapat melihat file log Ray open source melalui dasbor Ray OSS:

1. Di Google Cloud konsol, buka halaman Ray on Vertex AI.

   Buka halaman Ray on Vertex AI

2. Di baris untuk cluster yang Anda buat, pilih menu more actions.

3. Pilih link dasbor Ray OSS. Dasbor akan terbuka di tab lain.

4. Buka tampilan Log di pojok kanan atas di menu:

   

5. Klik setiap node untuk melihat file log yang terkait dengan node tersebut.

Konsol Cloud Logging

1. Di konsol Google Cloud , buka halaman Logs Explorer:

   Buka Logs Explorer

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Pilih project, folder, atau organisasi Google Cloud yang sudah ada.

3. Untuk menampilkan semua log Ray, masukkan kueri berikut ke kolom editor kueri, lalu klik Run query:

   resource.labels.task_name="ray-cluster-logs"

4. Untuk mempersempit log ke cluster Ray tertentu, tambahkan baris berikut ke kueri, lalu klik Run query:

   labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

   Ganti CLUSTER_NAME dengan nama untuk cluster Ray Anda. Di konsol Google Cloud , buka Vertex AI > Ray on Vertex AI tempat Anda melihat daftar nama cluster di setiap region.

5. Untuk lebih mempersempit log ke file log tertentu seperti raylet.out, klik nama log di bagian Log fields -> Log name.

6. Anda dapat mengelompokkan entri log yang serupa:

   1. Di Query results, klik entri log untuk meluaskan log.

   2. Di jsonPayload, klik nilai tailed_path. Menu drop-down akan muncul.

   3. Klik Show matching entries.

Nonaktifkan log

Secara default, Cloud Logging untuk Ray di Vertex AI diaktifkan.

• Untuk menonaktifkan ekspor log Ray ke Cloud Logging, gunakan perintah Vertex AI SDK untuk Python berikut:

  vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
  

Anda dapat melihat file log Ray di dasbor Ray meskipun fitur Ray on Vertex AI Cloud Logging dinonaktifkan.

Memantau metrik

Anda dapat melihat metrik Ray on Vertex AI dengan berbagai cara menggunakan Google Cloud Monitoring (GCM). Atau, Anda dapat mengekspor metrik dari GCM ke server Grafana Anda sendiri.

Catatan: Lihat Google Cloud Managed Service for Prometheus (GMP) untuk mengetahui informasi harga dan penyimpanan data.

Memantau Metrik di GCM

Ada dua cara untuk melihat metrik Ray di Vertex AI di GCM.

• Gunakan tampilan langsung di bagian Metrics Explorer.

• Impor dasbor Grafana.

Metrics Explorer

Untuk menggunakan tampilan langsung di bagian Metrics Explorer, ikuti langkah-langkah berikut:

1. Buka konsol Google Cloud Monitoring.
2. Di bagian Jelajahi, pilih Metrics Explorer.
3. Di bagian Active Resources, pilih Prometheus Target. Kategori Metrik Aktif akan muncul.

4. Pilih Ray.

   Daftar metrik akan muncul:

   
5. Pilih metrik yang ingin Anda pantau. Contoh:
   1. Pilih persentase pemakaian CPU sebagai metrik yang dipantau:
      
      
   2. Pilih filter. Misalnya, pilih cluster:
      Gunakan ID cluster untuk memantau metrik di atas hanya untuk cluster tertentu. Untuk menemukan ID cluster Anda, ikuti langkah-langkah berikut:

      1. Di Google Cloud console, buka halaman Ray.

         Buka Ray

      2. Pastikan Anda berada dalam project tempat eksperimen akan dibuat.
         
      3. Di bagian Name, daftar ID cluster akan muncul.
      
   3. Pilih metode Agregasi untuk melihat metrik. Artinya, Anda dapat memilih untuk melihat metrik yang tidak diagregasi, yang menunjukkan pemakaian CPU setiap proses Ray:
      

Dasbor GCM

Untuk mengimpor dasbor Grafana untuk Ray on Vertex AI, ikuti panduan di dasbor Cloud Monitoring, Mengimpor dasbor Grafana Anda sendiri.

Yang Anda butuhkan hanyalah file JSON dasbor Grafana. OSS Ray mendukung penyiapan manual ini dengan menyediakan file JSON Grafana dasbor default.

Memantau metrik

dari Grafana milik pengguna

Jika Anda sudah menjalankan server Grafana, ada juga cara untuk mengekspor semua metrik Prometheus cluster Ray di Vertex AI ke server Grafana yang ada. Untuk melakukannya, ikuti panduan Membuat kueri menggunakan Grafana GMP. Hal ini memungkinkan Anda menambahkan sumber data Grafana baru ke server Grafana yang ada dan menggunakan penyinkron sumber data untuk menyinkronkan sumber data Prometheus Grafana baru ke metrik Ray di Vertex AI.

Penting bagi Anda untuk mengonfigurasi dan mengautentikasi sumber data Grafana yang baru ditambahkan menggunakan penyinkron sumber data. Ikuti langkah-langkah yang diberikan di Mengonfigurasi dan mengautentikasi sumber data Grafana.

Setelah disinkronkan, Anda dapat membuat dan menambahkan dasbor yang diperlukan berdasarkan metrik Ray on Vertex AI.

Secara default, pengumpulan metrik Ray on Vertex AI diaktifkan. Berikut cara menonaktifkannya menggunakan Vertex AI SDK untuk Python:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...)

Men-debug cluster Ray

Untuk men-debug cluster Ray, gunakan Head node interactive shell:

Catatan: Hanya gunakan shell interaktif untuk tujuan proses debug atau operasi lanjutan lainnya yang tidak didukung dengan cara lain. Tidak direkomendasikan untuk operasi normal seperti menjalankan beban kerja.

Google Cloud console

Untuk mengakses Head node interactive shell, lakukan hal berikut:

1. Di konsol Google Cloud , buka halaman Ray on Vertex AI.
   Buka Ray on Vertex AI
2. Pastikan Anda berada di project yang benar.
   
3. Pilih cluster yang ingin Anda periksa. Bagian Info dasar akan muncul.
4. Di bagian Access links, klik link untuk Head node interactive shell. Shell interaktif node head akan muncul.
5. Ikuti petunjuk yang diuraikan dalam Memantau dan men-debug pelatihan dengan shell interaktif.

Langkah berikutnya

• Menghapus cluster Ray