Questa pagina fornisce una panoramica dell'operatore Ray e delle risorse personalizzate pertinenti per eseguire il deployment e gestire le applicazioni e i cluster Ray su Google Kubernetes Engine (GKE).
Ray è un framework di calcolo unificato open source per la scalabilità delle applicazioni di AI/ML e Python. Ray fornisce un set di librerie per distribuire il runtime di computing per AI/ML su più nodi di computing.
Per scoprire come abilitare l'operatore Ray su GKE, consulta Abilitare l'operatore Ray su GKE.
Perché utilizzare Ray Operator su GKE
L'operatore Ray è il metodo consigliato per eseguire il deployment e gestire i cluster Ray su GKE. Quando esegui Ray Operator su GKE, puoi sfruttare il supporto di Ray per Python e l'affidabilità, la portabilità e la scalabilità di livello enterprise di GKE.
L'operatore Ray su GKE è basato su KubeRay, che fornisce API Kubernetes dichiarative progettate specificamente per la gestione dei cluster Ray. Ciò significa che puoi eseguire il provisioning, scalare e gestire i tuoi deployment Ray con altri carichi di lavoro containerizzati su GKE.
Come funziona Ray Operator su GKE
Quando abiliti l'operatore Ray nei tuoi cluster GKE, GKE installa e ospita automaticamente l'operatore KubeRay.
KubeRay fornisce risorse personalizzate di Kubernetes per gestire i deployment Ray su Kubernetes,
Risorsa personalizzata RayCluster
La risorsa personalizzata RayCluster consente di specificare un cluster Ray di cui GKE esegue il deployment come pod Kubernetes. Un cluster Ray in genere consiste di un singolo pod head e più pod worker.
Risorsa personalizzata RayJob
La risorsa personalizzata RayJob ti consente di eseguire un singolo job Ray. KubeRay crea un RayCluster per fornire le risorse di calcolo per il job, quindi crea un job Kubernetes che invia il job Ray al pod head di RayCluster.
Per una gestione efficiente delle risorse, puoi configurare KubeRay in modo che ripulisca automaticamente RayCluster al termine del job.
Risorsa personalizzata RayService
La risorsa personalizzata RayService consente di configurare applicazioni RayService, ad esempio applicazioni per la distribuzione e l'inferenza del modello. KubeRay crea un RayCluster per fornire le risorse di calcolo, quindi esegue il deployment dell'applicazione Ray Serve come specificato dalla configurazione Ray Serve.
Passaggi successivi
- Scopri come abilitare l'operatore Ray su GKE.
- Esplora la documentazione su Ray on Kubernetes.