Ray adalah framework open source untuk menskalakan aplikasi AI dan Python. Ray menyediakan infrastruktur untuk melakukan komputasi terdistribusi dan pemrosesan paralel untuk alur kerja machine learning (ML) Anda.
Jika sudah menggunakan Ray, Anda dapat menggunakan kode Ray open source yang sama untuk menulis program dan mengembangkan aplikasi di Vertex AI dengan sedikit perubahan. Selanjutnya, Anda dapat menggunakan integrasi Vertex AI dengan layanan Google Cloud lainnya seperti Vertex AI Prediction dan BigQuery sebagai bagian dari alur kerja machine learning Anda.
Jika sudah menggunakan Vertex AI dan membutuhkan cara yang lebih sederhana untuk mengelola resource komputasi, Anda dapat menggunakan kode Ray untuk menskalakan pelatihan.
Alur kerja untuk menggunakan Ray di Vertex AI
Gunakan Colab Enterprise dan Vertex AI SDK untuk Python guna terhubung ke Cluster Ray.
| Langkah | Deskripsi |
|---|---|
| 1. Melakukan penyiapan untuk Ray on Vertex AI | Siapkan project Google Anda, instal versi Vertex AI SDK untuk Python yang menyertakan fungsi Ray Client, dan siapkan jaringan peering VPC, yang bersifat opsional. |
| 2. Membuat cluster Ray di Vertex AI | Membuat cluster Ray on Vertex AI. Peran Administrator Vertex AI diperlukan. |
| 3. Mengembangkan aplikasi Ray on Vertex AI | Terhubung ke cluster Ray di Vertex AI dan kembangkan aplikasi. Peran pengguna Vertex AI diperlukan. |
| 4. (Opsional) Menggunakan Ray di Vertex AI dengan BigQuery | Membaca, menulis, dan mengubah data dengan BigQuery. |
| 5. (Opsional) Men-deploy model di Vertex AI dan mendapatkan prediksi | Men-deploy model ke endpoint online Vertex AI dan mendapatkan prediksi. |
| 6. Memantau cluster Ray di Vertex AI | Memantau log yang dibuat di Cloud Logging dan metrik di Cloud Monitoring. |
| 7. Menghapus cluster Ray di Vertex AI | Menghapus cluster Ray on Vertex AI untuk menghindari penagihan yang tidak perlu. |
Ringkasan
Cluster Ray dibuat untuk memastikan ketersediaan kapasitas untuk workload ML penting atau selama musim puncak. Tidak seperti tugas kustom, yang mengharuskan layanan pelatihan untuk merilis resource setelah tugas selesai, cluster Ray akan tetap tersedia hingga dihapus.
Catatan: Gunakan cluster Ray yang berjalan lama dalam skenario berikut:
- Jika Anda mengirimkan tugas Ray yang sama beberapa kali, dan dapat mendapatkan manfaat dari cache data dan gambar dengan menjalankan tugas tersebut di cluster Ray yang berjalan lama yang sama.
- Jika Anda menjalankan banyak tugas Ray berjangka pendek dengan waktu pemrosesan sebenarnya lebih singkat dari waktu startup tugas, sebaiknya gunakan cluster yang berjalan lama.
Cluster Ray di Vertex AI dapat disiapkan dengan konektivitas publik atau pribadi. Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Vertex AI. Lihat Konektivitas publik atau pribadi untuk mengetahui informasi selengkapnya.
Arsitektur dengan konektivitas publik
Buat cluster Ray di Vertex AI menggunakan opsi berikut:
a. Gunakan konsol Google Cloud untuk membuat cluster Ray di Vertex AI.
b. Buat cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python.
Hubungkan ke cluster Ray on Vertex AI untuk pengembangan interaktif menggunakan opsi berikut:
a. Gunakan Colab Enterprise di konsol Google Cloud untuk koneksi yang lancar.
b. Gunakan lingkungan Python apa pun yang dapat diakses oleh internet publik.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray di Vertex AI:
Gunakan Vertex AI SDK untuk Python di lingkungan pilihan Anda (Colab Enterprise atau notebook Python apa pun).
Tulis skrip Python menggunakan lingkungan pilihan Anda.
Kirimkan Ray Job ke cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python, Ray Job CLI, atau Ray Job Submission API.
Men-deploy model yang telah dilatih ke endpoint Vertex AI online untuk prediksi langsung.
Gunakan BigQuery untuk mengelola data Anda.
Arsitektur dengan VPC
Diagram berikut menunjukkan arsitektur dan alur kerja untuk Ray di Vertex AI setelah Anda menyiapkan jaringan VPC dan project Google Cloud, yang bersifat opsional:
Siapkan (a) project Google dan (b) jaringan VPC Anda.
Buat cluster Ray di Vertex AI menggunakan opsi berikut:
a. Gunakan konsol Google Cloud untuk membuat cluster Ray di Vertex AI.
b. Buat cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python.
Hubungkan ke cluster Ray di Vertex AI melalui jaringan yang di-peering VPC menggunakan opsi berikut:
Gunakan Colab Enterprise di konsol Google Cloud.
Gunakan notebook Vertex AI Workbench.
Kembangkan aplikasi Anda dan latih model Anda di cluster Ray di Vertex AI menggunakan opsi berikut:
Gunakan Vertex AI SDK untuk Python di lingkungan pilihan Anda (notebook Colab Enterprise atau Vertex AI Workbench).
Tulis skrip Python menggunakan lingkungan pilihan Anda. Kirimkan Ray Job ke cluster Ray di Vertex AI menggunakan Vertex AI SDK untuk Python, Ray Job CLI, atau dasbor Ray.
Men-deploy model yang telah dilatih ke endpoint Vertex AI online untuk prediksi.
Gunakan BigQuery untuk mengelola data Anda.
Harga
Harga untuk Ray on Vertex AI dihitung sebagai berikut:
Resource komputasi yang Anda gunakan akan ditagih berdasarkan konfigurasi mesin yang Anda pilih saat membuat cluster Ray di Vertex AI. Untuk mengetahui harga Ray di Vertex AI, lihat halaman harga.
Terkait cluster Ray, Anda hanya akan ditagih selama status RUNNING dan UPDATING. Tidak ada negara bagian lain yang dikenai biaya. Jumlah yang ditagih didasarkan pada ukuran cluster yang sebenarnya saat ini.
Saat Anda melakukan tugas menggunakan cluster Ray di Vertex AI, log akan otomatis dibuat dan ditagih berdasarkan harga Cloud Logging.
Jika Anda men-deploy model ke endpoint untuk prediksi online, lihat bagian "Prediksi dan penjelasan" di halaman harga Vertex AI.
Jika Anda menggunakan BigQuery dengan Ray di Vertex AI, lihat harga BigQuery.