Ray ist ein Open-Source-Framework zur Skalierung von KI- und Python-Anwendungen. Ray bietet die Infrastruktur für verteiltes Computing und parallele Verarbeitung für Ihren ML-Workflow („maschinelles Lernen“).
Wenn Sie Ray bereits verwenden, können Sie denselben Open-Source-Ray-Code verwenden, um Programme zu schreiben und Anwendungen mit minimalen Änderungen in Vertex AI zu entwickeln. Anschließend können Sie die Einbindungen von Vertex AI in andere Google Cloud-Dienste wie Vertex AI-Vorhersagen und BigQuery als Teil Ihres ML-Workflows verwenden.
Wenn Sie Vertex AI bereits verwenden und eine einfachere Methode zum Verwalten von Rechenressourcen benötigen, können Sie das Training mit Ray-Code skalieren.
Workflow für die Verwendung von Ray in Vertex AI
Verwenden Sie Colab Enterprise und Vertex AI SDK für Python, um eine Verbindung zum Ray-Cluster herzustellen.
| Schritte | Beschreibung |
|---|---|
| 1. Einrichtung für Ray in Vertex AI | Richten Sie Ihr Google-Projekt ein, installieren Sie die Version des Vertex AI SDK für Python, die die Funktionen des Ray-Clients enthält, und richten Sie ein VPC-Peering-Netzwerk ein (optional). |
| 2. Ray-Cluster in Vertex AI erstellen | Ray-Cluster in Vertex AI erstellen. Die Vertex AI-Administratorrolle ist erforderlich. |
| 3. Ray-Anwendung in Vertex AI entwickeln | Stellen Sie eine Verbindung zu einem Ray-Cluster in Vertex AI her und entwickeln Sie eine Anwendung. Die Vertex AI-Nutzerrolle ist erforderlich. |
| 4. (Optional) Ray in Vertex AI mit BigQuery verwenden | Mit BigQuery Daten lesen, schreiben und transformieren. |
| 5. (Optional) Modell in Vertex AI bereitstellen und Vorhersagen abrufen | Ein Modell auf einem Vertex AI-Online-Endpunkt bereitstellen und Vorhersagen abrufen. |
| 6. Ray-Cluster in Vertex AI überwachen | Generierte Logs in Cloud Logging und Messwerte in Cloud Monitoring überwachen. |
| 7. Ray-Cluster in Vertex AI löschen | Löschen Sie einen Ray-Cluster in Vertex AI, um unnötige Kosten zu vermeiden. |
Übersicht
Integrierte Ray-Cluster sichern Kapazitätsverfügbarkeit für kritisches ML-Arbeitslasten oder während Spitzenzeiten. Im Gegensatz zu benutzerdefinierten Jobs, bei denen der Trainingsdienst die Ressource nach Abschluss des Jobs freigibt, bleiben Ray-Cluster bis zum Löschen verfügbar.
Hinweis: Verwenden Sie in folgenden Szenarien Ray-Cluster mit langer Ausführungszeit:
- Wenn Sie denselben Ray-Job mehrmals senden und von Daten- und Bild-Caching profitieren können, indem die Jobs auf denselben Ray-Clustern mit langer Laufzeit ausgeführt werden.
- Wenn Sie viele kurzlebige Ray-Jobs ausführen, bei denen die tatsächliche Verarbeitungszeit kürzer als die Startzeit ist, kann es von Vorteil sein, einen Cluster mit langer Laufzeit einzusetzen.
Ray-Cluster in Vertex AI können entweder mit öffentlichen oder mit privaten Verbindungen eingerichtet werden. Die folgenden Diagramme zeigen die Architektur und den Workflow für Ray on Vertex AI. Weitere Informationen finden Sie unter Öffentliche oder private Verbindungen.
Architektur mit öffentlicher Konnektivität
Erstellen Sie den Ray-Cluster in Vertex AI mit den folgenden Optionen:
a. Verwenden Sie die Google Cloud Console, um den Ray-Cluster in Vertex AI zu erstellen.
b. Erstellen Sie den Ray-Cluster in Vertex AI mit dem Vertex AI SDK für Python.
Stellen Sie mit den folgenden Optionen eine Verbindung zum Ray-Cluster in Vertex AI für die interaktive Entwicklung her:
a. Verwenden Sie Colab Enterprise in der Google Cloud Console für eine nahtlose Verbindung.
b. Verwenden Sie eine beliebige im öffentlichen Internet zugängliche Python-Umgebung.
Entwickeln Sie Ihre Anwendung und trainieren Sie Ihr Modell im Ray-Cluster in Vertex AI:
Verwenden Sie das Vertex AI SDK für Python in Ihrer bevorzugten Umgebung (Colab Enterprise oder ein beliebiges Python-Notebook).
Schreiben Sie ein Python-Script in Ihrer bevorzugten Umgebung.
Senden Sie mit dem Vertex AI SDK für Python, der Ray Job CLI oder der Ray Job Submission API einen Ray-Job an den Ray-Cluster in Vertex AI.
Stellen Sie das trainierte Modell auf einem Online-Vertex AI-Endpunkt für Live-Vorhersagen bereit.
Verwenden Sie BigQuery, um Ihre Daten zu verwalten.
Architektur mit VPC
Das folgende Diagramm zeigt die Architektur und den Workflow für Ray on Vertex AI nach der Einrichtung Ihres Google Cloud-Projekts und Ihres VPC-Netzwerks. Dies ist optional:
Richten Sie Ihr (a) Google-Projekt und (b) VPC-Netzwerk ein.
Erstellen Sie den Ray-Cluster in Vertex AI mit den folgenden Optionen:
a. Verwenden Sie die Google Cloud Console, um den Ray-Cluster in Vertex AI zu erstellen.
b. Erstellen Sie den Ray-Cluster in Vertex AI mit dem Vertex AI SDK für Python.
Stellen Sie mit den folgenden Optionen über ein VPC-Peering-Netzwerk eine Verbindung zum Ray-Cluster in Vertex AI her:
Verwenden Sie Colab Enterprise in der Google Cloud Console.
Verwenden Sie ein Vertex AI Workbench-Notebook.
Entwickeln Sie Ihre Anwendung und trainieren Sie Ihr Modell im Ray-Cluster in Vertex AI mit den folgenden Optionen:
Verwenden Sie das Vertex AI SDK für Python in Ihrer bevorzugten Umgebung (Colab Enterprise oder ein Vertex AI Workbench-Notebook).
Schreiben Sie ein Python-Script in Ihrer bevorzugten Umgebung. Senden Sie mit dem Vertex AI SDK für Python, der Ray Job CLI oder dem Ray Dashboard einen Ray-Job an den Ray-Cluster in Vertex AI.
Stellen Sie das trainierte Modell auf einem Vertex AI-Online-Endpunkt für Vorhersagen bereit.
Verwenden Sie BigQuery, um Ihre Daten zu verwalten.
Preise
Die Preise für Ray on Vertex AI werden so berechnet:
Die verwendeten Rechenressourcen werden basierend auf der Maschinenkonfiguration abgerechnet, die Sie beim Erstellen Ihres Ray-Clusters in Vertex AI auswählen. Die Preise für Ray on Vertex AI finden Sie auf der Seite „Preise“.
In Bezug auf Ray-Cluster entstehen Ihnen nur Kosten während der Status-WErte „RUNNING” und „UPDATING” in Rechnung gestellt. Für andere Statuswerte werden keine Kosten berechnet. Der in Rechnung gestellte Betrag basiert auf der aktuellen Clustergröße.
Wenn Sie Aufgaben mit dem Ray-Cluster in Vertex AI ausführen, werden Logs automatisch generiert und auf Basis der Cloud Logging-Preise berechnet.
Wenn Sie Ihr Modell auf einem Endpunkt für Onlinevorhersagen bereitstellen, lesen Sie den Abschnitt „Vorhersage und Erläuterung“ auf der Vertex AI-Preisseite.
Wenn Sie BigQuery mit Ray on Vertex AI verwenden, finden Sie weitere Informationen unter BigQuery-Preise.