Memantau cluster Ray Anda di Vertex AI

Halaman ini membahas cara melihat log pelacakan yang terkait dengan cluster Ray Anda dan memantau metrik Ray di Vertex AI. Panduan untuk men-debug cluster Ray juga disediakan.

Lihat log

Saat Anda menjalankan tugas dengan cluster Ray di Vertex AI, log pelacakan akan otomatis dibuat dan disimpan di Cloud Logging dan dasbor Ray open source. Bagian ini menjelaskan cara mengakses log yang dihasilkan melalui konsol Google Cloud.

Sebelum memulai, pastikan untuk membaca ringkasan Ray di Vertex AI dan menyiapkan semua alat prasyarat yang Anda butuhkan.

Dasbor Ray OSS

Anda dapat melihat file log Ray open source melalui dasbor Ray OSS:

1. Di Konsol Google Cloud, buka halaman Ray on Vertex AI.

   Buka halaman Ray on Vertex AI

2. Di baris untuk cluster yang Anda buat, pilih menu more actions.

3. Pilih link dasbor Ray OSS. Dasbor akan terbuka di tab lain.

4. Buka tampilan Log di sudut kanan atas pada menu:

   

5. Klik setiap node untuk melihat file log yang terkait dengan node tersebut.

Konsol Cloud Logging

1. Di konsol Google Cloud, buka halaman Logs Explorer:

   Buka Logs Explorer

   Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

2. Pilih project, folder, atau organisasi Google Cloud yang sudah ada.

3. Untuk menampilkan semua log Ray, masukkan kueri berikut ke kolom editor kueri, lalu klik Run query:

   resource.labels.task_name="ray-cluster-logs"

4. Untuk mempersempit log ke cluster Ray tertentu, tambahkan baris berikut ke kueri, lalu klik Run query:

   labels."ml.googleapis.com/ray_cluster_id"=CLUSTER_NAME

   Ganti CLUSTER_NAME dengan nama untuk cluster Ray Anda. Di konsol Google Cloud, buka Vertex AI > Ray on Vertex AI tempat Anda akan melihat daftar nama cluster di setiap region.

5. Untuk lebih mempersempit log ke file log tertentu seperti raylet.out, klik nama log di bagian Log fields -> Log name.

6. Anda dapat mengelompokkan entri log yang serupa:

   1. Di Query results, klik entri log untuk meluaskan log.

   2. Di jsonPayload, klik nilai tailed_path. Menu drop-down akan muncul.

   3. Klik Show matching entries.

Nonaktifkan log

Secara default, Cloud Logging Ray di Vertex AI diaktifkan.

• Untuk menonaktifkan ekspor log Ray ke Cloud Logging, gunakan perintah Vertex AI SDK untuk Python berikut:

  vertex_ray.create_ray_cluster(..., enable_logging=False, ...)
  

Anda dapat melihat file log Ray di dasbor Ray meskipun fitur Ray on Vertex AI Cloud Logging dinonaktifkan.

Memantau metrik

Anda dapat melihat metrik Ray on Vertex AI dengan cara yang berbeda menggunakan Google Cloud Monitoring (GCM). Atau, Anda dapat mengekspor metrik dari GCM ke server Grafana Anda sendiri.

Catatan: Lihat Google Cloud Managed Service for Prometheus (GMP) untuk mengetahui informasi harga dan penyimpanan data.

Memantau Metrik di GCM

Ada dua cara untuk melihat metrik Ray di Vertex AI di GCM.

• Gunakan tampilan langsung di bagian Metrics Explorer.

• Impor dasbor Grafana.

Metrics Explorer

Untuk menggunakan tampilan langsung di bagian Metrics Explorer, ikuti langkah-langkah berikut:

1. Buka konsol Google Cloud Monitoring.
2. Di bagian Jelajahi, pilih Metrics Explorer.
3. Di bagian Active Resources, pilih Prometheus Target. Kategori Metrik Aktif akan muncul.

4. Pilih Ray.

   Daftar metrik akan muncul:

   
5. Pilih metrik yang ingin Anda pantau. Contoh:
   1. Pilih persentase penggunaan CPU sebagai metrik yang dipantau:
      
      
   2. Pilih filter. Misalnya, pilih cluster:
      Gunakan ID cluster untuk hanya memantau metrik di atas untuk cluster tertentu. Untuk menemukan ID cluster, ikuti langkah-langkah berikut:

      1. Di konsol Google Cloud, buka halaman Ray.

         Buka Ray

      2. Pastikan Anda berada dalam project tempat eksperimen akan dibuat.
         
      3. Di bagian Name, daftar ID cluster akan muncul.
      
   3. Pilih metode Agregasi untuk melihat metrik. Artinya, Anda dapat memilih untuk melihat metrik yang tidak digabungkan, yang menampilkan penggunaan CPU setiap proses Ray:
      

Dasbor GCM

Untuk mengimpor dasbor Grafana untuk Ray on Vertex AI, ikuti panduan di dasbor cloud monitoring, Mengimpor dasbor grafana Anda sendiri.

Yang Anda perlukan hanyalah file JSON dasbor Grafana. OSS Ray mendukung penyiapan manual ini dengan menyediakan file JSON dasbor Grafana default.

Memantau metrik dari Grafana milik pengguna

Jika Anda sudah menjalankan server Grafana, ada juga cara untuk mengekspor semua metrik Prometheus cluster Ray di Vertex AI ke server Grafana yang ada. Untuk melakukannya, ikuti panduan Kueri menggunakan Grafana GMP. Dengan demikian, Anda dapat menambahkan sumber data Grafana baru ke server Grafana yang ada dan menggunakan sinkroniser sumber data untuk menyinkronkan sumber data Grafana Prometheus baru ke metrik Ray di Vertex AI.

Anda harus mengonfigurasi dan mengautentikasi sumber data Grafana yang baru ditambahkan menggunakan sinkronisasi sumber data. Ikuti langkah-langkah yang diberikan di Mengonfigurasi dan mengautentikasi sumber data Grafana.

Setelah disinkronkan, Anda dapat membuat dan menambahkan dasbor yang diperlukan berdasarkan metrik Ray on Vertex AI.

Secara default, pengumpulan metrik Ray on Vertex AI diaktifkan. Berikut cara menonaktifkannya menggunakan Vertex AI SDK untuk Python:

vertex_ray.create_ray_cluster(..., enable_metrics_collection=False, ...) 

Men-debug cluster Ray

Untuk men-debug cluster Ray, gunakan Head node interactive shell:

Catatan: Hanya gunakan shell interaktif untuk tujuan proses debug atau operasi lanjutan lainnya yang tidak didukung dengan cara lain. Tindakan ini tidak direkomendasikan untuk operasi normal seperti menjalankan beban kerja.

Konsol Google Cloud

Untuk mengakses Head node interactive shell, lakukan tindakan berikut:

1. Di konsol Google Cloud, buka halaman Ray on Vertex AI.
   Buka Ray on Vertex AI
2. Pastikan Anda berada di project yang benar.
   
3. Pilih cluster yang ingin Anda periksa. Bagian Info dasar akan muncul.
4. Di bagian Link akses, klik link untuk Head node interactive shell. Shell interaktif node head akan muncul.
5. Ikuti petunjuk yang diuraikan dalam Memantau dan men-debug pelatihan dengan shell interaktif.

Langkah selanjutnya

• Menghapus cluster Ray