Tentang Ray di Google Kubernetes Engine (GKE)

Halaman ini menyediakan ringkasan tentang Operator Ray dan informasi kustom resource untuk men-deploy dan mengelola cluster dan aplikasi Ray di Google Kubernetes Engine (GKE).

Ray adalah framework komputasi terpadu open source untuk menskalakan aplikasi AI/ML dan Python. Ray menyediakan serangkaian {i>library<i} untuk mendistribusikan runtime komputasi untuk AI/ML di beberapa node komputasi.

Untuk mempelajari cara mengaktifkan operator Ray di GKE, lihat Mengaktifkan operator Ray di GKE.

Alasan menggunakan Ray Operator di GKE

Ray Operator adalah cara yang direkomendasikan untuk menempatkan dan mengelola gugus Ray hanya pada container yang tepercaya. Saat menjalankan Ray Operator di GKE, Anda dapat memanfaatkan dukungan Ray untuk Python dan GKE keandalan, portabilitas, dan skalabilitas.

Ray Operator di GKE didasarkan pada KubeRay, yang menyediakan API Kubernetes deklaratif yang didesain khusus untuk mengelola cluster Ray. Ini berarti Anda bisa menyediakan, menskalakan, dan mengelola Ray Deployment Anda dengan workload dalam container lainnya di GKE.

Cara kerja Ray Operator di GKE

Saat Anda mengaktifkan {i>Ray Operator<i} di cluster GKE Anda, GKE menginstal dan menghosting operator KubeRay secara otomatis.

KubeRay menyediakan resource kustom Kubernetes untuk mengelola Ray Deployments di Kubernetes, termasuk:

Resource kustom RayCluster

Resource kustom RayCluster memungkinkan Anda menentukan cluster Ray yang GKE di-deploy sebagai Pod Kubernetes. Gugus Sinar biasanya terdiri dari dari satu Pod head dan beberapa Pod worker.

Resource kustom RayJob

Resource khusus RayJob memungkinkan Anda mengeksekusi satu tugas Ray. KubeRay membuat RayCluster untuk menyediakan resource komputasi untuk tugas, lalu membuat Tugas Kubernetes yang mengirimkan tugas Ray ke Pod head RayCluster.

Untuk manajemen sumber daya yang efisien, Anda dapat mengkonfigurasi KubeRay ke secara otomatis membersihkan RayCluster setelah tugas Anda berhasil diselesaikan.

Resource kustom RayService

Sumber daya khusus RayService memungkinkan Anda mengonfigurasi Aplikasi Ray Serve, seperti aplikasi untuk inferensi dan inferensi model. KubeRay membuat RayCluster untuk menyediakan resource komputasi lalu men-deploy Ray Serve sesuai yang ditentukan oleh konfigurasi Ray Serve.

Tanggung jawab bersama Ray on GKE

Saat Anda memilih untuk menjalankan beban kerja Ray di GKE dengan operator Ray, Anda akan penting untuk memahami bagaimana tanggung jawab dibagi antara Google Cloud dan Anda, pelanggan:

Tanggung jawab Google

  • Mempertahankan keandalan dan waktu beroperasi operator KubeRay.
  • Mengelola upgrade versi untuk operator KubeRay.
  • Kemampuan khusus pada KubeRay untuk mengelola RayCluster, RayJob, dan ke resource kustom RayService.

Tanggung jawab pelanggan

  • Mempertahankan image container yang digunakan untuk Pod Ray head dan Ray worker.
  • Mempertahankan pembuatan versi dan upgrade untuk Pod pekerja Ray head dan Ray.
  • Mengonfigurasi persyaratan resource (CPU, GPU, memori, dll.) untuk cluster Ray Anda.
  • Mengikuti praktik terbaik untuk mengamankan cluster Ray.
  • Keandalan dan pemantauan untuk aplikasi Ray Anda.

Lihat tanggung jawab bersama GKE untuk mempelajari lebih lanjut.

Langkah selanjutnya