Puoi connetterti a un cluster Ray su Vertex AI e sviluppare un un'applicazione con i seguenti metodi:
Connettiti al cluster Ray su Vertex AI tramite Ray Client utilizzando versione di l'SDK Vertex AI per Python che include la funzionalità dell'API Ray Cliente. Utilizza questa opzione se preferisci un ambiente di sviluppo Python interattivo.
Usa l'SDK Vertex AI per Python all'interno di Colab Enterprise un blocco note personalizzato nella console Google Cloud.
Utilizzare l'SDK Vertex AI per Python all'interno di una sessione Python, una shell o una Jupyter un blocco note.
Scrivi uno script Python e invia lo script al cluster Ray su Vertex AI usando i job di Ray tramite Google Cloud. Utilizza questa opzione se preferisci inviare i job in modo programmatico.
Connettiti a un cluster Ray tramite Ray Client
Per utilizzare il client Ray interattivo, connettiti al cluster Ray sulla Vertex AI. La rete dell'ambiente di connessione dipende configurazione di rete. Non esistono limitazioni per l'ambiente di connessione purché il cluster abbia accesso a internet pubblico. ovvero una rete VPC non è stato specificato durante la creazione del cluster. Se, invece, un cluster si trova su una rete VPC privata in peering con Vertex AI, deve trovarsi nella stessa rete VPC del cluster.
Console
In conformità con Best practice Ray OSS si consiglia di impostare il conteggio logico delle CPU su 0 sul nodo head Ray in base all'ordine. per evitare di eseguire carichi di lavoro sul nodo head.
Nella console Google Cloud, vai alla pagina Ray on Vertex AI.
Nella riga relativa al cluster che hai creato, fai clic su Apri in Colab Enterprise.
Si apre il blocco note di Colab Enterprise. Segui le istruzioni su come utilizzare l'SDK Vertex AI per Python per connettersi al cluster Ray su Vertex AI.
Se una schermata di dialogo ti chiede di abilitare le API, fai clic su Abilita.
Fai clic su Connetti se ti stai connettendo al cluster per la prima volta o Riconnetti se ti stai riconnettendo nel cluster. La connessione del blocco note al runtime richiede alcuni minuti.
Fai clic su +CREA per creare un nuovo blocco note.
Fai clic su
per aprire il riquadro Ray on Vertex AI.
Visualizzazione dei cluster esistenti .Seleziona un cluster e fai clic su CONNECT.
Il codice viene visualizzato nel blocco note aperto che si connette al cluster scelto.Altre azioni (facoltativo): per aprire il cluster Ray on Vertex AI fai clic su Gestisci cluster nel riquadro Ray on Vertex AI.
- Seleziona un cluster e fai clic su
Vengono visualizzate altre opzioni:
menu Altre azioni.
- Seleziona un cluster e fai clic su
Esegui la cella di codice Getting started per importare l'SDK Vertex AI per Python e connettersi al cluster Ray su Vertex AI.
Python
In conformità con Best practice Ray OSS si consiglia di impostare il conteggio logico delle CPU su 0 sul nodo head Ray in base all'ordine. per evitare di eseguire carichi di lavoro sul nodo head.
Da un ambiente Python interattivo:
import ray # Necessary even if aiplatform.* symbol is not directly used in your program. from google.cloud import aiplatform import vertex_ray import vertexai vertexai.init() # The CLUSTER_RESOURCE_NAME is the one returned from vertex_ray.create_ray_cluster. CLUSTER_RESOURCE_NAME='projects/{}/locations/{}/persistentResources/{}'.format(PROJECT_ID, LOCATION, CLUSTER_NAME) ray.init('vertex_ray://{}'.format(CLUSTER_RESOURCE_NAME))
Dove:
LOCATION: la località specificata per il cluster Ray su Vertex AI.
PROJECT_ID: l'ID del tuo progetto Google Cloud. Puoi trovare dell'ID progetto nella console Google Cloud benvenuto .
CLUSTER_NAME: il nome del tuo cluster Ray su Vertex AI, specificato al momento della creazione del cluster. Vai alla sezione Console Google Cloud per visualizzare l'elenco delle dei cluster per un progetto.
Dovresti ottenere un output simile al seguente:
Python version: 3.10.12 Ray version: 2.9 Vertex SDK version: 1.46.0 Dashboard: xxxx-dot-us-central1.aiplatform-training.googleusercontent.com
Puoi usare l'URL Dashboard
per accedere alla dashboard Ray da un browser. La
L'URI è nel formato
https://xxxx-dot-us-central1.aiplatform-training.googleusercontent.com/
.
La dashboard mostra i job inviati, il numero di GPU o CPU e lo spazio su disco
a ogni macchina nel cluster.
Una volta stabilita la connessione al cluster Ray su Vertex AI, potrai sviluppare un programma Ray nello stesso modo in cui ne svilupperesti uno per un normale backend OSS Ray.
@ray.remote def square(x): print(x) return x * x # Launch four parallel square tasks. futures = [square.remote(i) for i in range(4)] print(ray.get(futures)) # Returns [0, 1, 4, 9]
Sviluppa un'applicazione utilizzando l'API Ray Jobs
Questa sezione descrive come inviare un programma Python al Cluster Ray su Vertex AI mediante l'API Ray Jobs.
Scrivi uno script Python
Sviluppa la tua applicazione come script Python in qualsiasi editor di testo. Ad esempio:
Inserisci il seguente script in un file my_script.py
:
import ray import time @ray.remote def hello_world(): return "hello world" @ray.remote def square(x): print(x) time.sleep(100) return x * x ray.init() # No need to specify address="vertex_ray://...." print(ray.get(hello_world.remote())) print(ray.get([square.remote(i) for i in range(4)]))
Inviare un job Ray utilizzando l'API Ray Jobs
Puoi inviare un job Ray utilizzando Python, l'interfaccia a riga di comando Ray Jobs o il servizio pubblico Ray alla dashboard.
Python: nome risorsa del cluster
Invia un job Ray utilizzando un ambiente Python:
import ray import vertex_ray from ray.job_submission import JobSubmissionClient from google.cloud import aiplatform # Necessary even if aiplatform.* symbol is not directly used in your program. CLUSTER_RESOURCE_NAME='projects/{}/locations/REGION/persistentResources/{}'.format(PROJECT_ID, CLUSTER_NAME) client = JobSubmissionClient("vertex_ray://{}".format(CLUSTER_RESOURCE_NAME)) job_id = client.submit_job( # Entrypoint shell command to execute entrypoint="python my_script.py", # Path to the local directory that contains the my_script.py file. runtime_env={ "working_dir": "./directory-containing-my-script", "pip": ["numpy", "xgboost", "ray==2.9.3", # pin the Ray version to prevent it from being overwritten ] } ) # Ensure that the Ray job has been created. print(job_id)
Dove:
REGION: la regione specificata per il cluster Ray su Vertex AI.
PROJECT_ID: il numero del tuo progetto Google Cloud. Puoi trovare dell'ID progetto nella console Google Cloud benvenuto .
CLUSTER_NAME: il nome del tuo cluster Ray su Vertex AI, specificato al momento della creazione del cluster. Vai alla sezione Console Google Cloud per visualizzare l'elenco delle dei cluster per un progetto.
Python - Dashboard Ray
L'indirizzo della dashboard Ray è accessibile dall'esterno del VPC, inclusa la rete internet pubblica.
Tieni presente che vertex_ray
è necessario per ottenere l'autenticazione automaticamente.
from ray.job_submission import JobSubmissionClient import vertex_ray DASHBOARD_ADDRESS=DASHBOARD_ADDRESS client = JobSubmissionClient( "vertex_ray://{}".format(DASHBOARD_ADDRESS), ) job_id = client.submit_job( # Entrypoint shell command to execute entrypoint="python my_script.py", # Path to the local directory that contains the my_script.py file runtime_env={ "working_dir": "./directory-containing-my-script", "pip": ["numpy", "xgboost", "ray==2.9.3", # pin the Ray version to prevent it from being overwritten ] } ) print(job_id)
Dove:
DASHBOARD_ADDRESS: l'indirizzo della dashboard Ray per il tuo cluster. Tu puoi trovare l'indirizzo della dashboard utilizzando l'SDK Vertex AI per Python.
Interfaccia a riga di comando Ray Jobs
Tieni presente che puoi utilizzare solo i comandi dell'interfaccia a riga di comando Ray Jobs all'interno del VPC in peering in ogni rete.
$ ray job submit --working-dir ./ --address vertex_ray://{CLUSTER_RESOURCE_NAME} -- python my_script.py
Supporto per peering VPC e account di servizio personalizzato
Ray on Vertex AI supporta Ray Client e API Ray Jobs (JobSubmissionClient) in una rete pubblica per l'agente di servizio predefinito e account di servizio.
Supporto Ray on Vertex AI per il peering VPC, quando il cluster Ray viene creato con la rete VPC, è mostrato in questa tabella:
Peering VPC | Agente di servizio predefinito | Account di servizio personalizzato |
---|---|---|
Ray Client (modalità interattiva) | Sì | No |
Client di invio job Ray | Sì | Sì |
I Controlli di servizio VPC (VPC-SC) richiedono configurazioni aggiuntive. Consulta Connettività privata e pubblica per maggiori dettagli.