Ray-Cluster in Vertex AI erstellen

Sie können die Google Cloud Console oder das Vertex AI SDK für Python verwenden, um einen Ray-Cluster zu erstellen. Ein Cluster kann bis zu 2.000 Knoten haben. Es gilt eine Obergrenze von 1.000 Knoten in einem Worker-Pool. Es gibt keine Begrenzung für die Anzahl der Worker-Pools. Eine große Anzahl von Worker-Pools, z. B. 1.000 Worker-Pools mit jeweils einem Knoten, kann jedoch die Clusterleistung beeinträchtigen.

Lesen Sie zuerst die Ray in Vertex AI-Übersicht und richten Sie alle erforderlichen Tools ein.

Nach dem Erstellen eines Ray-Clusters in Vertex AI kann es 10 bis 20 Minuten dauern, bis ein Ray-Cluster gestartet wird.

Console

  1. Rufen Sie in der Google Cloud Console die Seite „Ray in Vertex AI“ auf.

    Zur Seite „Ray on Vertex AI“

  2. Klicken Sie auf Cluster erstellen, um den Bereich Cluster erstellen zu öffnen.

  3. Prüfen oder ersetzen Sie für jeden Schritt im Bereich Cluster erstellen die Standardclusterinformationen. Klicken Sie zum Ausführen der einzelnen Schritte auf Weiter:

    1. Geben Sie unter Name und Region einen Namen an und wählen Sie einen Standort für den Cluster aus.

    2. Geben Sie für Compute-Einstellungen die Konfiguration des Hauptknotens des Ray-Clusters in Vertex AI, einschließlich Maschinentyp, Beschleunigertyp und Anzahl, Laufwerkstyp und -größe und Replikatanzahl an. Optional können Sie einen benutzerdefinierten Image-URI hinzufügen, um ein benutzerdefiniertes Container-Image anzugeben. Damit können Sie Python-Abhängigkeiten hinzufügen, die nicht vom Standard-Container-Image bereitgestellt werden. Siehe Benutzerdefiniertes Image.

      Unter Erweiterte Optionen haben Sie folgende Möglichkeiten:

      • Geben Sie Ihren eigenen Verschlüsselungsschlüssel an.
      • Geben Sie ein benutzerdefiniertes Dienstkonto an.
      • Deaktivieren Sie die Messwerterfassung, wenn Sie das Modellmonitoring nicht verwenden.

    3. (Optional) Wenn Sie einen privaten Endpunkt anstelle eines öffentlichen Endpunkts für den Cluster festlegen möchten, geben Sie ein VPC-Netzwerk an, das mit Ray in Vertex AI verwendet werden soll. Weitere Informationen finden Sie unter Private und öffentliche Verbindungen.

      Wenn Sie für Ihr VPC-Netzwerk keine Verbindung eingerichtet haben, klicken Sie auf Verbindung einrichten. Führen Sie im Feld Erstellen einer Verbindung für den Zugriff auf private Dienste die folgenden Schritte aus und klicken Sie auf Weiter:

      1. Aktivieren Sie die Service Networking API.

      2. Für IP-Bereich zuweisen können Sie einen IP-Bereich auswählen, erstellen oder Google erlauben, einen IP-Bereich automatisch zuzuweisen.

      3. Prüfen Sie unter Verbindung erstellen die Informationen zu Netzwerk und Zugewiesener IP-Bereich.

      4. Klicken Sie auf Verbindung erstellen.

  4. Klicken Sie auf Erstellen.

Ray on Vertex AI SDK

Verwenden Sie in einer interaktiven Python-Umgebung Folgendes, um den Ray-Cluster in Vertex AI zu erstellen:

import ray
import vertex_ray
from google.cloud import aiplatform
from vertex_ray import Resources

# Define a default CPU cluster, machine_type is n1-standard-16, 1 head node and 1 worker node
head_node_type = Resources()
worker_node_types = [Resources()]

# Or define a GPU cluster.
head_node_type = Resources(
  machine_type="n1-standard-16",
  node_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # Optional. When not specified, a prebuilt image is used.
)

worker_node_types = [Resources(
  machine_type="n1-standard-16",
  node_count=2,  # Must be >= 1
  accelerator_type="NVIDIA_TESLA_T4",
  accelerator_count=1,
  custom_image="us-docker.pkg.dev/my-project/ray-custom.2-9.py310:latest",  # When not specified, a prebuilt image is used.
)]

aiplatform.init()
# Initialize Vertex AI to retrieve projects for downstream operations.
# Create the Ray cluster on Vertex AI
CLUSTER_RESOURCE_NAME = vertex_ray.create_ray_cluster(
  head_node_type=head_node_type,
  network=NETWORK, #Optional
  worker_node_types=worker_node_types,
  python_version="3.10",  # Optional
  ray_version="2.9",  # Optional
  cluster_name=CLUSTER_NAME, # Optional
  service_account=SERVICE_ACCOUNT,  # Optional
  enable_metrics_collection=True,  # Optional. Enable metrics collection for monitoring.
  labels=LABELS,  # Optional.

)

Wobei:

  • CLUSTER_NAME: Ein Name für den Ray-Cluster in Vertex AI, der in Ihrem Projekt eindeutig sein muss.

  • NETWORK: (Optional) Der vollständige Name Ihres VPC-Netzwerks im Format projects/PROJECT_ID/global/networks/VPC_NAME. Wenn Sie einen privaten Endpunkt anstelle eines öffentlichen Endpunkts für Ihren Cluster festlegen möchten, geben Sie ein VPC-Netzwerk an, das mit Ray in Vertex AI verwendet werden soll. Weitere Informationen finden Sie unter Private und öffentliche Verbindungen.

  • VPC_NAME: (Optional) Die VPC, in der die VM ausgeführt wird.

  • PROJECT_ID: Ihre Google Cloud-Projekt-ID. Sie finden die Projekt-ID auf der Begrüßungsseite der Google Cloud Console.

  • SERVICE_ACCOUNT: (Optional) Das Dienstkonto zum Ausführen von Ray-Anwendungen im Cluster. Erforderliche Rollen müssen gewährt werden.

  • LABELS: (Optional) Die Labels mit benutzerdefinierten Metadaten, mit denen Ray-Cluster organisiert werden. Labelschlüssel und -werte dürfen maximal 64 Zeichen (Unicode-Codepunkte) haben und dürfen nur Kleinbuchstaben, Ziffern, Unterstriche und Bindestriche enthalten. Internationale Zeichen sind zulässig. Weitere Informationen und Beispiele für Labels finden Sie unter https://goo.gl/xmQnxf.

Sie sollten die folgende Ausgabe sehen, bis sich der Status in RUNNING ändert:

[Ray on Vertex AI]: Cluster State = State.PROVISIONING
Waiting for cluster provisioning; attempt 1; sleeping for 0:02:30 seconds
...
[Ray on Vertex AI]: Cluster State = State.RUNNING

Bitte beachten Sie dabei Folgendes:

  • Der erste Knoten wird als Hauptknoten verwendet.

  • TPU-Maschinentypen werden nicht unterstützt.

Benutzerdefiniertes Image (optional)

Vordefinierte Images sind für die meisten Anwendungsfälle geeignet. Wenn Sie ein eigenes Image erstellen möchten, empfehlen wir, die vordefinierten Ray in Vertex-Images als Basis-Image zu verwenden. In der Docker-Dokumentation erfahren Sie, wie Sie Images aus einem Basis-Image erstellen.

Diese Basis-Images umfassen eine Installation von Python, Ubuntu und Ray. Sie enthalten auch Abhängigkeiten wie:

  • python-json-logger
  • google-cloud-resource-manager
  • ca-certificates-jav
  • libatlas-base-dev
  • liblapack-dev
  • g++, libio-all-perl
  • libyaml-0-2.
  • rsync

Wenn Sie ein eigenes Image ohne unser Basis-Image erstellen möchten (erweitert), muss das Image Folgendes enthalten:

  • Ray 2.9.3
  • Python 3.10
  • python-json-logger==2.0.7

Private und öffentliche Verbindungen

Standardmäßig erstellt Ray in Vertex AI einen öffentlichen, sicheren Endpunkt für die interaktive Entwicklung mit dem Ray-Client auf Ray-Clustern in Vertex AI. Es wird empfohlen, öffentliche Verbindungen für Entwicklung oder sitzungsspezifische Anwendungsfälle zu verwenden. Dieser öffentliche Endpunkt ist über das Internet zugänglich. Nur autorisierte Nutzer, die mindestens die Berechtigungen für Vertex AI-Nutzerrollen für das Nutzerprojekt des Ray-Clusters haben, können auf den Cluster zugreifen.

Wenn Sie eine private Verbindung zu Ihrem Cluster benötigen oder VPC Service Controls verwenden, wird VPC-Peering für Ray-Cluster in Vertex AI unterstützt. Cluster mit einem privaten Endpunkt sind nur über einen Client in einem VPC-Netzwerk zugänglich, das per Peering mit Vertex AI verbunden ist.

Wählen Sie beim Erstellen des Clusters ein VPC-Netzwerk aus, um eine private Verbindung mit VPC-Peering für Ray in Vertex AI einzurichten. Das VPC-Netzwerk erfordert eine private Dienstverbindung zwischen Ihrem VPC-Netzwerk und Vertex AI. Wenn Sie Ray on Vertex AI in der Console verwenden, können Sie Ihre Verbindung für den Zugriff auf private Dienste beim Erstellen des Clusters einrichten.

Nachdem Sie den Ray-Cluster in Vertex AI erstellt haben, können Sie mit dem Vertex AI SDK für Python eine Verbindung zum Hauptknoten herstellen. Die Verbindungsumgebung, z. B. eine Compute Engine-VM oder Vertex AI Workbench-Instanz, muss sich in dem VPC-Netzwerk befinden, das über Peering mit Vertex AI verbunden ist. Beachten Sie, dass eine private Dienstverbindung eine begrenzte Anzahl an IP-Adressen hat, was zu einer Ausschöpfung der IP-Adressen führen kann. Daher wird empfohlen, für Cluster mit langer Ausführungszeit private Verbindungen zu verwenden.

Notebook-Anleitung

Nächste Schritte