Benutzerdefinierte Trainingsjobs erstellen

Benutzerdefinierte Trainingsjobs (CustomJob-Ressourcen in der Vertex AI API) sind die grundlegende Möglichkeit, um benutzerdefinierten Trainingscode für maschinelles Lernen (ML) in Vertex AI auszuführen.

Bevor Sie einen Job senden

Bevor Sie einen CustomJob in Vertex AI erstellen, müssen Sie eine Python-Trainingsanwendung oder ein benutzerdefiniertes Container-Image erstellen, um den Trainingscode und die Abhängigkeiten zu definieren, die Sie auf Vertex AI ausführen möchten.

Wir empfehlen die Verwendung des Autopackaging-Features der -Befehlszeilentools, das in einem späteren Abschnitt dieser Anleitung beschrieben wird. Damit erstellen Sie mit nur einem einzigen Befehl ein Docker-Container-Image aus Code auf Ihrem lokalen Computer, übertragen dieses Container-Image an Container Registry und erstellen Sie einen CustomJob.

Andernfalls müssen Sie manuell eine Python-Trainingsanwendung oder ein benutzerdefiniertes Container-Image erstellen.

Weitere Informationen zur Auswahl dieser Optionen finden Sie in den Anforderungen für den Trainingscode.

Was ein benutzerdefinierter Job umfasst

Beim Erstellen eines benutzerdefinierten Jobs legen Sie Einstellungen fest, die Vertex AI zum Ausführen des Trainingscodes ausführen muss. Dazu gehören:

Innerhalb der Worker-Pools können Sie die folgenden Einstellungen festlegen:

Sie können auch benutzerdefinierte Jobs so konfigurieren, dass sie auf einer nichtflüchtigen Ressource ausgeführt werden, anstatt neue Rechenressourcen beim Start des Jobs zu erstellen. Weitere Informationen zu nichtflüchtigen Ressourcen finden Sie unter Nichtflüchtige Ressource erstellen und verwenden.

Verteiltes Training konfigurieren

Sie können einen CustomJob für verteiltes Training konfigurieren. Geben Sie dazu mehrere Worker-Pools an.

In den meisten Beispielen auf dieser Seite werden Trainingsjobs mit einem Replikat und einem Worker-Pool aufgeführt. So ändern Sie diese für verteiltes Training:

  • Verwenden Sie Ihren ersten Worker-Pool für die Konfiguration des primären Replikats und setzen Sie die Anzahl der Replikate auf 1.
  • Fügen Sie weitere Worker-Pools hinzu, um Worker-Replikate, Parameterserver-Replikate oder Evaluator-Replikate zu konfigurieren, wenn Ihr Framework für maschinelles Lernen diese zusätzlichen Clusteraufgaben für verteiltes Training unterstützt.

Verteiltes Training verwenden

CustomJob erstellen

Folgen Sie der Anleitung auf einem der folgenden Tabs, um einen CustomJob zu erstellen, je nachdem, welches Tool Sie verwenden möchten. Wenn Sie die gcloud CLI verwenden, können Sie mit einem einzigen Befehl den Trainingscode auf Ihrem lokalen Computer in ein Docker-Container-Image verpacken, das Container-Image in die Container Registry verschieben und einen CustomJob erstellen. Andere Optionen setzen voraus, dass Sie bereits eine Python-Trainingsanwendung oder ein benutzerdefiniertes Container-Image erstellt haben.

gcloud

In den folgenden Beispielen wird der Befehl gcloud ai custom-jobs create verwendet.

Wenn sich Ihr Trainingscode auf Ihrem lokalen Computer befindet, empfehlen wir, den Abschnitt Mit Autopackaging zu befolgen. Wenn Sie bereits eine Python-Trainingsanwendung oder ein benutzerdefiniertes Container-Image erstellt haben, fahren Sie mit dem Abschnitt Ohne Autopackaging fort.

Mit Autopackaging

Wenn Sie Trainingscode auf Ihrem lokalen Computer haben, können Sie mit einem einzigen Befehl folgendes tun:

  • Erstellen eines benutzerdefinierten Docker-Image auf Basis Ihres Codes.
  • Laden Sie das Image in Container Registry hoch.
  • Starten Sie einen CustomJob auf der Basis des Images.

Das Ergebnis ähnelt dem Erstellen eines CustomJob mit jedem anderen benutzerdefinierten Container. Sie können diese Version des Befehls verwenden, wenn sie für Ihren Workflow geeignet ist.

Hinweis

Da mit dieser Version des Befehls ein Docker-Image erstellt und hochgeladen wird, müssen Sie auf Ihrem lokalen Computer die folgende Konfiguration ausführen:

  1. Installieren Sie Docker Engine.

  2. Wenn Sie Linux verwenden, konfigurieren Sie Docker so, dass es ohne sudo ausgeführt werden kann.

  3. Container Registry API aktivieren.

    Aktivieren Sie die API

  4. Konfigurieren Sie die Authentifizierung für Docker, damit Sie Docker-Images in Container Registry hochladen können:

    gcloud auth configure-docker

Docker-Image erstellen und übertragen und CustomJob erstellen

Der folgende Befehl erstellt ein Docker-Image basierend auf einem vordefinierten Trainings-Container-Image und Ihrem lokalen Python-Code, lädt das Image in Container Registry hoch und erstellt einen CustomJob.

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,executor-image-uri=EXECUTOR_IMAGE_URI,local-package-path=WORKING_DIRECTORY,script=SCRIPT_PATH

Dabei gilt:

  • LOCATION: Die Region, in der der Container oder das Python-Paket ausgeführt wird.

  • JOB_NAME: erforderlich. Ein Anzeigename für CustomJob.

  • MACHINE_TYPE: Der Maschinentyp. Hier finden Sie die verfügbaren Maschinentypen für das Training.

  • REPLICA_COUNT: Die Anzahl der zu verwendenden Worker-Replikate. In den meisten Fällen ist dies auf 1 für den ersten Worker-Pool festgelegt.

  • EXECUTOR_IMAGE_URI: Der URI des Container-Images, in dem der bereitgestellte Code ausgeführt wird. Siehe Verfügbare vordefinierte Container für das Training.

    Dieses Image dient als Basis-Image für das neue Docker-Image, das Sie mit diesem Befehl erstellen.

  • WORKING_DIRECTORY: Ein Verzeichnis in Ihrem lokalen Dateisystem, das das Einstiegspunktskript enthält, das Ihren Trainingscode ausführt (siehe folgendes Listenelement).

    Sie können das übergeordnete Verzeichnis des Skripts oder ein Verzeichnis auf höherer Ebene verwenden. Sie können ein Verzeichnis auf höherer Ebene verwenden, um einen voll qualifizierten Python-Modulnamen anzugeben. Weitere Informationen finden Sie im folgenden Listenelement. Sie können auch ein Verzeichnis auf höherer Ebene verwenden, wenn es die Datei requirements.txt oder setup.py enthält. Weitere Informationen finden Sie unter Abhängigkeiten installieren.

    Beachten Sie: Auch wenn Sie ein Verzeichnis auf höherer Ebene angeben, kopiert dieser Befehl nur das übergeordnete Verzeichnis Ihres Einstiegspunktskripts in das Docker-Image.

  • SCRIPT_PATH: Der Pfad, relativ zu WORKING_DIRECTORY in Ihrem lokalen Dateisystem, zu dem Skript, das der Einstiegspunkt für Ihren Trainingscode ist. Dies kann ein Python-Skript (mit der Endung .py) oder ein Bash-Skript sein.

    Wenn Sie beispielsweise /hello-world/trainer/task.py ausführen möchten und WORKING_DIRECTORY auf /hello-world gesetzt ist, verwenden Sie trainer/task.py für diesen Wert.

    python-module anstelle von script verwenden

    Sie können script=SCRIPT_PATH optional durch python-module=PYTHON_MODULE ersetzen, um den Namen eines Python-Moduls in WORKING_DIRECTORY anzugeben, das als Einstiegspunkt für das Training ausgeführt werden soll. Anstelle von script=trainer/task.py können Sie beispielsweise python-module=trainer.task angeben.

    Der resultierende Docker-Container lädt in diesem Fall Ihren Code als Modul und nicht als Skript. Sie sollten diese Option vermutlich verwenden, wenn über Ihr Einstiegspunktskript andere Python-Module in WORKING_DIRECTORY importiert werden.

Abhängigkeiten installieren

Wenn Sie Autopackaging verwenden, können Sie Python-Abhängigkeiten in Ihrem Container auf die gleiche Weise installieren, wie bei Verwendung des Befehls local-run der gcloud CLI. Informationen zu den verschiedenen Möglichkeiten zum Installieren von Python-Abhängigkeiten finden Sie im Abschnitt Abhängigkeiten installieren der Anleitung zum Befehl local-run.

Die Syntax zum Angeben von Abhängigkeiten unterscheidet sich geringfügig, wenn Sie das Autopackaging mit dem Befehl local-run verwenden. Anstatt Befehlszeilen-Flags zur Angabe von Abhängigkeiten zu verwenden, müssen Sie Optionen im Wert des Flags --worker-pool-spec verwenden. Außerdem müssen die Werte innerhalb dieser Optionen durch Semikolons getrennt werden, nicht durch Kommas. Besonderheiten der Syntax:

  • Verwenden Sie anstelle des Flags --local-package-path des Befehls local-run die Option local-package-path im Wert des Flags --worker-pool-spec. Wenn das mit dieser Option angegebene Arbeitsverzeichnis eine requirements.txt- oder setup.py-Datei enthält, installiert das Autopackaging Abhängigkeiten basierend auf dieser Datei.

    Das obige Beispiel zeigt diese Syntax.

  • (Optional) Verwenden Sie anstelle des Flags --requirements die Option requirements im Wert des Flags --worker-pool-spec. Verwenden Sie Semikolons, anstatt PyPI-Abhängigkeiten durch Kommas zu trennen.

  • (Optional) Verwenden Sie anstelle des Flags --extra-packages die Option extra-packages im Wert des Flags --worker-pool-spec. Verwenden Sie Semikolons, anstatt lokale Abhängigkeiten durch Kommas zu trennen.

  • (Optional) Verwenden Sie anstelle des Flags --extra-dirs die Option extra-dirs im Wert des Flags --worker-pool-spec. Verwenden Sie Semikolons nicht, um Verzeichnispfade durch Kommas zu trennen.

Im folgenden Beispiel wird gezeigt, wie Sie Abhängigkeiten mit allen optionalen Techniken installieren. Sie können eine beliebige Teilmenge davon angeben. Zur Veranschaulichung der Semikolon-Syntax gibt das Beispiel zwei Werte für jede Option an. Um die Länge des Beispiels zu reduzieren, werden andere --worker-pool-spec-Optionen durch [...] ersetzt.

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --worker-pool-spec=[...],requirements=PYPI_DEP_1;PYPI_DEP_2,extra-packages=LOCAL_DEP_1;LOCAL_DEP_2,extra-dirs=EXTRA_DIR_1;EXTRA_DIR_2

Informationen zu geeigneten Werten für diese Platzhalter finden Sie in der Anleitung zum Befehl local-run unter "Abhängigkeiten installieren".

Ohne Autopackaging

Wenn Sie das Autopackaging nicht verwenden, können Sie einen CustomJob mit einem Befehl erstellen, der einem der folgenden ähnlich ist. Wählen Sie je nachdem, ob Sie eine Python-Trainingsanwendung oder ein benutzerdefiniertes Container-Image erstellt haben, einen der folgenden Tabs aus:

Python-Trainingsanwendung

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --python-package-uris=PYTHON_PACKAGE_URIS \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,executor-image-uri=EXECUTOR_IMAGE_URI,python-module=PYTHON_MODULE

Dabei gilt:

  • LOCATION: Die Region, in der der Container oder das Python-Paket ausgeführt wird.
  • JOB_NAME: erforderlich. Ein Anzeigename für CustomJob.
  • PYTHON_PACKAGE_URIS: Durch Kommas getrennte Liste der Cloud Storage-URIs, die die Python-Paketdateien angeben, wobei es sich um das Trainingsprogramm und die abhängigen Pakete handelt. Die maximale Anzahl der Paket-URIs beträgt 100.
  • MACHINE_TYPE: Der Maschinentyp. Hier finden Sie die verfügbaren Maschinentypen für das Training.
  • REPLICA_COUNT: Die Anzahl der zu verwendenden Worker-Replikate. In den meisten Fällen ist dies auf 1 für den ersten Worker-Pool festgelegt.
  • EXECUTOR_IMAGE_URI: Der URI des Container-Images, in dem der bereitgestellte Code ausgeführt wird. Siehe Verfügbare vordefinierte Container für das Training.
  • PYTHON_MODULE: Der Name des Python-Moduls, der nach der Installation der Pakete ausgeführt werden soll.

Benutzerdefiniertes Container-Image

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,container-image-uri=CUSTOM_CONTAINER_IMAGE_URI

Dabei gilt:

  • LOCATION: Die Region, in der der Container oder das Python-Paket ausgeführt wird.
  • JOB_NAME: erforderlich. Ein Anzeigename für CustomJob.
  • MACHINE_TYPE: Der Maschinentyp. Hier finden Sie die verfügbaren Maschinentypen für das Training.
  • REPLICA_COUNT: Die Anzahl der zu verwendenden Worker-Replikate. In den meisten Fällen ist dies auf 1 für den ersten Worker-Pool festgelegt.
  • CUSTOM_CONTAINER_IMAGE_URI: Der URI eines Container-Images in Artifact Registry, Container Registry oder Docker Hub, der auf jedem Worker-Replikat ausgeführt werden soll.

Verteiltes Training

Wenn Sie das verteilte Training ausführen möchten, geben Sie das Flag --worker-pool-spec mehrmals an, einmal für jeden Worker-Pool.

Wenn Sie das Autopackaging verwenden, müssen Sie im ersten Worker-Pool nur local-package-path, script und andere Optionen im Zusammenhang mit dem Autopackaging angeben. Lassen Sie Felder, die sich auf Ihren Trainingscode beziehen, in nachfolgenden Worker-Pools aus. In diesen Worker-Pools wird derselbe Trainingscontainer verwendet, der durch Autopackaging erstellt wurde.

Mit dem folgenden Befehl wird beispielsweise ein früheres Autopackaging-Beispiel für die Verwendung eines zweiten Worker-Pools angepasst:

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,executor-image-uri=EXECUTOR_IMAGE_URI,local-package-path=WORKING_DIRECTORY,script=SCRIPT_PATH \
  --worker-pool-spec=machine-type=SECOND_POOL_MACHINE_TYPE,replica-count=SECOND_POOL_REPLICA_COUNT

Wenn Sie kein Autopackaging verwenden, geben Sie jeden Worker-Pool vollständig und unabhängig an. Lassen Sie keine Felder weg.

Die folgenden Befehle passen frühere Beispiele für die Verwendung eines zweiten Worker-Pools an:

Python-Trainingsanwendung

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --python-package-uris=PYTHON_PACKAGE_URIS \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,executor-image-uri=EXECUTOR_IMAGE_URI,python-module=PYTHON_MODULE \
  --worker-pool-spec=machine-type=SECOND_POOL_MACHINE_TYPE,replica-count=SECOND_POOL_REPLICA_COUNT,executor-image-uri=SECOND_POOL_EXECUTOR_IMAGE_URI,python-module=SECOND_POOL_PYTHON_MODULE

Benutzerdefiniertes Container-Image

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --worker-pool-spec=machine-type=MACHINE_TYPE,replica-count=REPLICA_COUNT,container-image-uri=CUSTOM_CONTAINER_IMAGE_URI \
  --worker-pool-spec=machine-type=SECOND_POOL_MACHINE_TYPE,replica-count=SECOND_POOL_REPLICA_COUNT,container-image-uri=SECOND_POOL_CUSTOM_CONTAINER_IMAGE_URI

Erweiterte Konfiguration

Wenn Sie Konfigurationsoptionen angeben möchten, die in den vorhergehenden Beispielen nicht verfügbar sind, können Sie mit dem Flag --config den Pfad zu einer config.yaml-Datei in Ihrer lokalen Umgebung angeben, die die Felder von CustomJobSpecenthält. Beispiel:

gcloud ai custom-jobs create \
  --region=LOCATION \
  --display-name=JOB_NAME \
  --config=config.yaml

Beispiel für eine config.yaml-Datei

Console

In der Google Cloud Console können Sie keine CustomJob-Ressource direkt erstellen. Sie können jedoch eine TrainingPipeline-Ressource erstellen, mit der ein CustomJob erstellt wird.

In der folgenden Anl