In diesem Dokument wird erläutert, wie Sie einen Batchjob erstellen und ausführen, der ein oder mehrere externe Speicher-Volumes. Externe Speicheroptionen umfassen neue oder vorhandene Speicheroptionen nichtflüchtige Speicher, neue lokale SSDs, vorhandene Cloud Storage-Buckets, und ein bestehendes Network File System (NFS) wie Filestore-Dateifreigabe.
Unabhängig davon, ob Sie externe Speicher-Volumes hinzufügen, Die Compute Engine-VM für einen Job hat ein Bootlaufwerk, das Speicher bereitstellt für das Betriebssystem-Image und die Anweisungen des Jobs. Informationen zum Konfigurieren des Bootlaufwerks für einen Job finden Sie unter Übersicht zur VM-Betriebssystemumgebung.
Hinweise
- Wenn Sie Batch zum ersten Mal verwenden, lesen Sie Erste Schritte mit Batch und aktivieren Sie Batch, indem Sie den Voraussetzungen für Projekte und Nutzer.
-
Um die Berechtigungen zu erhalten, die Sie zum Erstellen eines Jobs benötigen, bitten Sie Ihren Administrator, Ihnen folgenden IAM-Rollen:
-
Batch-Job-Editor (
roles/batch.jobsEditor
) für das Projekt -
Dienstkontonutzer (
roles/iam.serviceAccountUser
) für das Dienstkonto des Jobs, das standardmäßig das Compute Engine-Standarddienstkonto ist -
Erstellen Sie einen Job, der einen Cloud Storage-Bucket verwendet:
Storage-Objekt-Betrachter (
roles/storage.objectViewer
) für den Bucket
Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.
-
Batch-Job-Editor (
Job erstellen, der Speicher-Volumes verwendet
Optional kann ein Job einen oder mehrere der folgenden Arten von externen Speicher-Volumes. Weitere Informationen zu allen Arten von Speicher-Volumes Unterschiede und Einschränkungen finden Sie in der Dokumentation zu Compute Engine-VM-Speicheroptionen
- Nichtflüchtiger Speicher: zonaler oder regionaler, nichtflüchtiger Blockspeicher
- lokale SSD: Leistungsstarker, temporärer Blockspeicher
- Cloud Storage-Bucket: preiswerter Objektspeicher
- Network File System (NFS): ein verteiltes Dateisystem nach dem Network File System-Protokoll Beispiel: Ein Filestore-Dateifreigabe, ein leistungsstarkes NFS, das in Google Cloud gehostet wird,
Sie können einem Job erlauben, jedes Speicher-Volume zu verwenden, indem Sie es einschließen
in der Jobdefinition angeben und seine
Bereitstellungspfad (mountPath
)
in Ihren Runnables. Informationen zum Erstellen eines Jobs, der Speicher-Volumes verwendet, finden Sie unter
einem oder mehreren der folgenden Abschnitte:
- Nichtflüchtigen Speicher verwenden
- Lokale SSD verwenden
- Cloud Storage-Bucket verwenden
- Netzwerkdateisystem verwenden
Nichtflüchtigen Speicher verwenden
Für einen Job, der nichtflüchtige Speicher verwendet, gelten die folgenden Einschränkungen:
Alle nichtflüchtigen Speicher: Überprüfen Sie den Einschränkungen für alle nichtflüchtigen Speicher.
Neue und vorhandene nichtflüchtige Speicher im Vergleich: Jeder nichtflüchtige Speicher in einem Job kann entweder neu (in dem Job definiert und erstellt) oder vorhanden (bereits die in Ihrem Projekt erstellt und im Job angegeben wurden). Um einen nichtflüchtigen Speicher zu nutzen, muss es sein formatiert und im die VMs des Jobs, die sich am selben Standort wie der nichtflüchtige Speicher befinden müssen. stellt alle nichtflüchtigen Speicher bereit, die Sie in einen Job aufnehmen, und formatiert neue nichtflüchtige Speicher; Sie müssen jedoch alle vorhandene nichtflüchtige Speicher, die ein Job verwenden soll.
Die unterstützten Standortoptionen, Formatierungsoptionen, und Halterungsoptionen zwischen neuen und vorhandenen nichtflüchtigen Speichern, wie im Folgenden beschrieben. Tabelle:
Neue nichtflüchtige Speicher Vorhandene nichtflüchtige Speicher Formatoptionen Der nichtflüchtige Speicher wird automatisch mit einem
ext4
-Dateisystem.Sie müssen den nichtflüchtigen Speicher formatieren. ein
ext4
-Dateisystem bevor Sie sie für einen Job nutzen.Bereitstellungsoptionen Alle Optionen werden unterstützt.
Alle Optionen außer dem Schreiben werden unterstützt. Dies ist auf Einschränkungen von Multi-Writer-Modus.
Sie müssen Nichtflüchtigen Speicher trennen von allen VMs, an die er angehängt ist, bevor er für einen Job verwendet wird.
Speicherortoptionen Sie können nur zonale nichtflüchtige Speicher erstellen.
Sie können für Ihren Job einen beliebigen Standort auswählen. Die persistente Laufwerke in der Zone erstellt werden, in der Ihr Projekt ausgeführt wird.
Sie können zonale und regionale nichtflüchtige Speicher auswählen.
Sie müssen den Standort des Auftrags (oder, falls angegeben, nur den zulässige Standorte) an Standorte, die alle nichtflüchtigen Speicher des Jobs enthalten. Laufwerke. Bei einem zonalen nichtflüchtigen Speicher beispielsweise Der Speicherort muss die Zone des Laufwerks sein. für einen regionalen nichtflüchtigen Speicher Der Speicherort des Jobs muss entweder die Region des Laufwerks sein oder, falls die Zonen angeben, eine oder beide Zonen, in denen regionalen nichtflüchtigen Speicher befindet.Instanzvorlagen: Wenn Sie Beim Erstellen dieses Jobs eine VM-Instanzvorlage verwenden, Sie müssen alle nichtflüchtigen Speicher für diesen Job in der Instanz anhängen Vorlage. Wenn Sie keine Instanzvorlage verwenden möchten, müssen Sie Sie können beliebige nichtflüchtige Speicher direkt in der Jobdefinition anhängen.
Sie können einen Job erstellen, der einen nichtflüchtigen Speicher verwendet, indem Sie Google Cloud Console, gcloud CLI, Batch API Go, Java, Node.js, Python oder C++.
Console
Im folgenden Beispiel wird mit der Google Cloud Console ein Job erstellt,
führt ein Skript zum Lesen einer Datei aus einem vorhandenen zonalen nichtflüchtigen Speicher aus, der
sich in der us-central1-a
-Zone befindet. Im Beispielskript wird davon ausgegangen,
über einen zonalen nichtflüchtigen Speicher verfügt, der eine Textdatei namens
example.txt
im Stammverzeichnis.
Optional: Beispiel für einen zonalen nichtflüchtigen Speicher erstellen
Wenn Sie einen zonalen nichtflüchtigen Speicher erstellen möchten, Führen Sie das Beispielskript aus. Führen Sie dabei die folgenden Schritte aus, bevor Sie den Job erstellen:
Hängen Sie einen neuen, leeren nichtflüchtigen Speicher namens
example-disk
an eine Linux-VM imus-central1-a
und führen Sie dann Befehle zum Formatieren und Bereitstellen auf der VM aus. auf dem Laufwerk. Anweisungen finden Sie unter Nichtflüchtigen Speicher zu Ihrer VM hinzufügenTrennen Sie die Verbindung zur VM noch nicht.
Führen Sie folgenden Befehl aus, um
example.txt
auf dem nichtflüchtigen Speicher zu erstellen: auf der VM:Um das aktuelle Arbeitsverzeichnis in das Stammverzeichnis der nichtflüchtigen Speicher den folgenden Befehl ein:
cd VM_MOUNT_PATH
Ersetzen Sie VM_MOUNT_PATH durch den Pfad zu das Verzeichnis, in dem der nichtflüchtige Speicher auf dieser VM bereitgestellt wurde im vorherigen Schritt, z. B.
/mnt/disks/example-disk
.Drücken Sie
Enter
.Zum Erstellen und Definieren einer Datei mit dem Namen
example.txt
: geben Sie den folgenden Befehl ein:cat > example.txt
Drücken Sie
Enter
.Geben Sie den Inhalt der Datei ein. Geben Sie beispielsweise
Hello world!
ein.Drücken Sie zum Speichern der Datei
Ctrl+D
(oderCommand+D
unter macOS).
Wenn Sie fertig sind, können Sie die Verbindung zur VM trennen.
Trennen Sie den nichtflüchtigen Speicher von der VM.
Wenn Sie die VM nicht mehr benötigen, Löschen Sie die VM, die trennt den nichtflüchtigen Speicher automatisch.
Andernfalls trennen Sie den nichtflüchtigen Speicher. Anweisungen finden Sie unter Bootlaufwerke trennen und neu anhängen und trennen Sie den nichtflüchtigen Speicher
example-disk
das Bootlaufwerk der VM.
Job erstellen, der den vorhandenen zonalen nichtflüchtigen Speicher verwendet
So erstellen Sie einen Job, der vorhandene zonale nichtflüchtige Speicher mit der Methode Führen Sie in der Google Cloud Console die folgenden Schritte aus:
Rufen Sie in der Google Cloud Console die Seite Jobliste auf.
Klicken Sie auf
Erstellen. Die Die Seite Batchjob erstellen wird geöffnet. Im linken Bereich Die Seite Jobdetails ist ausgewählt.Konfigurieren Sie die Seite Jobdetails:
Optional: Passen Sie den Jobnamen im Feld Jobname an.
Geben Sie beispielsweise
example-disk-job
ein.Konfigurieren Sie den Bereich Aufgabendetails:
Fügen Sie im Fenster New Runnable (Neu ausführbar) mindestens ein Skript hinzu oder Container für die Ausführung dieses Jobs.
Um beispielsweise ein Skript auszuführen, das den Inhalt einer Datei ausgibt, den Namen
example.txt
hat und sich im Stammverzeichnis befindet des nichtflüchtigen Speichers, den dieser Job verwendet, gehen Sie so vor:Klicken Sie das Kästchen Script an. Ein Textfeld wird angezeigt.
Geben Sie das folgende Skript in das Textfeld ein:
echo "Here is the content of the example.txt file in the persistent disk." cat MOUNT_PATH/example.txt
Ersetzen Sie MOUNT_PATH durch den Pfad zu in dem Sie den nichtflüchtigen Speicher auf den VMs bereitstellen möchten, für diesen Job, z. B.
/mnt/disks/example-disk
.Klicken Sie auf Fertig.
Geben Sie in das Feld Aufgabenanzahl die Anzahl der Aufgaben ein, für diesen Job.
Geben Sie beispielsweise
1
ein (Standardeinstellung).Geben Sie in das Feld Parallelism die Anzahl der Tasks ein, gleichzeitig ausgeführt werden.
Geben Sie beispielsweise
1
ein (Standardeinstellung).
Konfigurieren Sie die Seite Ressourcenspezifikationen:
Klicken Sie im linken Bereich auf Ressourcenspezifikationen. Die Seite Ressourcenspezifikationen wird geöffnet.
Wählen Sie den Standort für diesen Job aus. Zur Verwendung eines vorhandenen zonalen nichtflüchtigen Speichers müssen die VMs eines Jobs sich in derselben Zone befinden.
Wählen Sie im Feld Region eine Region aus.
Um beispielsweise den zonalen nichtflüchtigen Speicher zu verwenden, wählen Sie
us-central1 (Iowa)
(Standardeinstellung) aus.Wählen Sie im Feld Zone eine Zone aus.
Wählen Sie beispielsweise
us-central1-a (Iowa)
aus.
Konfigurieren Sie die Seite Zusätzliche Konfigurationen:
Klicken Sie im linken Bereich auf Zusätzliche Konfigurationen. Die Seite Zusätzliche Konfigurationen wird geöffnet.
Für jeden vorhandenen zonalen nichtflüchtigen Speicher, auf dem Sie die Bereitstellung vornehmen möchten gehen Sie so vor:
Klicken Sie im Abschnitt Speichervolumen auf Neues Volume hinzufügen. Das Fenster Neues Volume wird angezeigt.
Führen Sie im Fenster Neues Volume die folgenden Schritte aus:
Wählen Sie im Bereich Volume-Typ die Option Nichtflüchtiger Speicher (Standard).
Wählen Sie in der Liste Laufwerk ein Vorhandener zonaler nichtflüchtiger Speicher, auf dem Sie die Bereitstellung vornehmen möchten für diesen Job. Das Laufwerk muss sich im selben wie dieser Job.
Wählen Sie beispielsweise den vorhandenen zonalen nichtflüchtigen Speicher aus. die Sie vorbereitet haben und die sich im
us-central1-a
und enthält die Dateiexample.txt
.Optional: Wenn Sie diesen zonalen nichtflüchtigen Speicher umbenennen möchten, Gehen Sie so vor:
Wählen Sie Gerätenamen anpassen aus.
Geben Sie im Feld Gerätename den neuen Namen für Ihre Festplatte.
Geben Sie im Feld Bereitstellungspfad den Bereitstellungspfad ein. (MOUNT_PATH) dafür nichtflüchtiger Speicher:
Geben Sie beispielsweise Folgendes ein:
/mnt/disks/EXISTING_PERSISTENT_DISK_NAME
EXISTING_PERSISTENT_DISK_NAME ersetzen durch den Namen des Laufwerks. Wenn Sie den Namen zonalen nichtflüchtigen Speichers den neuen Namen zu verwenden.
Ersetzen Sie beispielsweise EXISTING_PERSISTENT_DISK_NAME mit
example-disk
.Klicken Sie auf Fertig.
Optional: Konfigurieren Sie die weitere Felder für diesen Job.
Optional: Um die Jobkonfiguration zu überprüfen, klicken Sie auf Vorschau.
Klicken Sie auf Erstellen.
Auf der Seite Jobdetails wird der von Ihnen erstellte Job angezeigt.
gcloud
Im folgenden Beispiel wird mit der gcloud CLI ein Job erstellt, der
einen vorhandenen nichtflüchtigen Speicher und einen neuen nichtflüchtigen Speicher hinzufügt und bereitstellt.
Der Job umfasst drei Aufgaben, die jeweils ein Skript ausführen, um eine Datei im neuen
Nichtflüchtiger Speicher mit dem Namen output_task_TASK_INDEX.txt
wobei TASK_INDEX der Index jeder Aufgabe ist: 0, 1 und
2.
So erstellen Sie einen Job, der nichtflüchtige Speicher verwendet:
gcloud CLI verwenden, verwenden Sie die
gcloud batch jobs submit
-Befehl
Geben Sie in der JSON-Konfigurationsdatei des Jobs die nichtflüchtigen Speicher in der
instances
und stellen Sie den nichtflüchtigen Speicher im Feld volumes
bereit.
Erstellen Sie eine JSON-Datei.
Wenn Sie für diesen Job keine Instanzvorlage verwenden, Erstellen Sie eine JSON-Datei mit folgendem Inhalt:
{ "allocationPolicy": { "instances": [ { "policy": { "disks": [ { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "existingDisk": "projects/PROJECT_ID/EXISTING_PERSISTENT_DISK_LOCATION/disks/EXISTING_PERSISTENT_DISK_NAME" }, { "newDisk": { "sizeGb": NEW_PERSISTENT_DISK_SIZE, "type": "NEW_PERSISTENT_DISK_TYPE" }, "deviceName": "NEW_PERSISTENT_DISK_NAME" } ] } } ], "location": { "allowedLocations": [ "EXISTING_PERSISTENT_DISK_LOCATION" ] } }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/NEW_PERSISTENT_DISK_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "NEW_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/NEW_PERSISTENT_DISK_NAME", "mountOptions": "rw,async" }, { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/EXISTING_PERSISTENT_DISK_NAME" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.EXISTING_PERSISTENT_DISK_NAME
: der Name eines vorhandenen nichtflüchtigen Speichers.EXISTING_PERSISTENT_DISK_LOCATION
: die Speicherort eines vorhandenen nichtflüchtigen Speichers. Für jede vorhandene zonale Nichtflüchtiger Speicher muss der Speicherort des Jobs die Zone des Laufwerks sein. für muss der Speicherort des Jobs entweder die Region des Laufwerks oder, bei Angabe von Zonen, eine oder beiden spezifischen Zonen, in denen der regionale nichtflüchtige Speicher befindet. Wenn Sie keine vorhandene persistente können Sie einen beliebigen Speicherort auswählen. Weitere Informationen zum FeldallowedLocations
.NEW_PERSISTENT_DISK_SIZE
: die Größe des den neuen nichtflüchtigen Speicher in GB. Die zulässige Größen hängt vom Typ des nichtflüchtigen Speichers ab, aber das Minimum ist oft 10 GB (10
) und häufig 64 TB (64000
).NEW_PERSISTENT_DISK_TYPE
: die Laufwerkstyp des neuen nichtflüchtigen Speichers, entwederpd-standard
,pd-balanced
,pd-ssd
oderpd-extreme
. Der Standardlaufwerkstyp für Nicht-Boot-Vorgänge Nichtflüchtiger Speicher istpd-standard
.NEW_PERSISTENT_DISK_NAME
: der Name des neuen nichtflüchtigen Speichers.
Wenn Sie mit einer VM-Instanzvorlage für diesen Job, wie oben gezeigt eine JSON-Datei erstellen, außer dass Feld „
instances
“ Dabei gilt:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ],
wobei
INSTANCE_TEMPLATE_NAME
der Name ist der Instanzvorlage für diesen Job. Für einen Job, bei dem nichtflüchtigen Speichers definieren und anhängen, nichtflüchtige Speicher, die der Job verwenden soll. In diesem Beispiel Die Vorlage muss einen neuen nichtflüchtigen Speicher namensNEW_PERSISTENT_DISK_NAME
und und hängen Sie einen vorhandenen nichtflüchtigen Speicher mit dem NamenEXISTING_PERSISTENT_DISK_NAME
.
Führen Sie dazu diesen Befehl aus:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ersetzen Sie Folgendes:
JOB_NAME
: der Name des Jobs.LOCATION
: der Standort des Jobs.JSON_CONFIGURATION_FILE
: der Pfad für eine JSON-Datei mit den Konfigurationsdetails des Jobs.
API
Im folgenden Beispiel wird mit der Batch API ein Job erstellt
die einen vorhandenen nichtflüchtigen Speicher und einen neuen nichtflüchtigen Speicher hinzufügt und bereitstellt
Laufwerk. Der Job umfasst drei Aufgaben, die jeweils ein Skript ausführen, um eine Datei im neuen
Nichtflüchtiger Speicher mit dem Namen
output_task_TASK_INDEX.txt
, wobei
TASK_INDEX ist der Index jeder Aufgabe: 0, 1 und 2.
So erstellen Sie einen Job, der nichtflüchtige Speicher verwendet:
Batch API verwenden, verwenden Sie
jobs.create
-Methode.
Geben Sie in der Anfrage die nichtflüchtigen Speicher in der
instances
und stellen Sie den nichtflüchtigen Speicher im Feld volumes
bereit.
Wenn Sie für diesen Job keine Instanzvorlage verwenden, gehen Sie so vor: Anfrage:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "allocationPolicy": { "instances": [ { "policy": { "disks": [ { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "existingDisk": "projects/PROJECT_ID/EXISTING_PERSISTENT_DISK_LOCATION/disks/EXISTING_PERSISTENT_DISK_NAME" }, { "newDisk": { "sizeGb": NEW_PERSISTENT_DISK_SIZE, "type": "NEW_PERSISTENT_DISK_TYPE" }, "deviceName": "NEW_PERSISTENT_DISK_NAME" } ] } } ], "location": { "allowedLocations": [ "EXISTING_PERSISTENT_DISK_LOCATION" ] } }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/NEW_PERSISTENT_DISK_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "NEW_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/NEW_PERSISTENT_DISK_NAME", "mountOptions": "rw,async" }, { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/EXISTING_PERSISTENT_DISK_NAME" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JOB_NAME
: der Name des Jobs.EXISTING_PERSISTENT_DISK_NAME
: der Name eines vorhandenen nichtflüchtigen Speichers.EXISTING_PERSISTENT_DISK_LOCATION
: die Speicherort eines vorhandenen nichtflüchtigen Speichers. Für jede vorhandene zonale Nichtflüchtiger Speicher muss der Speicherort des Jobs die Zone des Laufwerks sein. für muss der Speicherort des Jobs entweder die Region des Laufwerks oder, bei Angabe von Zonen, eine oder beiden spezifischen Zonen, in denen der regionale nichtflüchtige Speicher befindet. Wenn Sie keine vorhandene persistente können Sie einen beliebigen Speicherort auswählen. Weitere Informationen zum FeldallowedLocations
.NEW_PERSISTENT_DISK_SIZE
: die Größe des den neuen nichtflüchtigen Speicher in GB. Die zulässige Größen hängt vom Typ des nichtflüchtigen Speichers ab, aber das Minimum ist oft 10 GB (10
) und häufig 64 TB (64000
).NEW_PERSISTENT_DISK_TYPE
: die Laufwerkstyp des neuen nichtflüchtigen Speichers, entwederpd-standard
,pd-balanced
,pd-ssd
oderpd-extreme
. Der Standardlaufwerkstyp für Nicht-Boot-Vorgänge Nichtflüchtiger Speicher istpd-standard
.NEW_PERSISTENT_DISK_NAME
: der Name des neuen nichtflüchtigen Speichers.
Wenn Sie mit einer VM-Instanzvorlage für diesen Job, wie oben gezeigt eine JSON-Datei erstellen, außer dass Feld „
instances
“ Dabei gilt:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ], ...
Dabei ist
INSTANCE_TEMPLATE_NAME
der Name der Instanzvorlage für diesen Job. Für einen Job, bei dem nichtflüchtigen Speichers definieren und anhängen, nichtflüchtige Speicher, die der Job verwenden soll. In diesem Beispiel Die Vorlage muss einen neuen nichtflüchtigen Speicher namensNEW_PERSISTENT_DISK_NAME
und und hängen Sie einen vorhandenen nichtflüchtigen Speicher mit dem NamenEXISTING_PERSISTENT_DISK_NAME
.
Go
Um einen Batchjob zu erstellen, der neue oder vorhandene verwendet
nichtflüchtige Speicher mit
die Cloud-Clientbibliotheken für Go, verwenden Sie
CreateJob
-Funktion
und Folgendes enthalten:
- So hängen Sie nichtflüchtige Speicher für einen Job an die VMs an:
eines der folgenden Elemente enthalten:
<ph type="x-smartling-placeholder">
- </ph>
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Fügen Sie den Typ
AllocationPolicy_AttachedDisk
hinzu. - Wenn Sie für diesen Job eine VM-Instanzvorlage verwenden,
Fügen Sie den Typ
AllocationPolicy_InstancePolicyOrTemplate_InstanceTemplate
hinzu.
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Fügen Sie den Typ
- Stellen Sie die nichtflüchtigen Speicher für den Job mit der Methode
Volume
-Typ mit dem TypVolume_DeviceName
undMountPath
ein. Verwenden Sie für neue nichtflüchtige Speicher auch dieMountOptions
, um den Schreibvorgang zu ermöglichen.
Ein Codebeispiel für einen ähnlichen Anwendungsfall finden Sie unter Cloud Storage-Bucket verwenden
Java
Um einen Batchjob zu erstellen, der neue oder vorhandene verwendet
nichtflüchtige Speicher mit
die Cloud-Clientbibliotheken für Java, verwenden Sie
CreateJobRequest
Kurs
und Folgendes enthalten:
- So hängen Sie nichtflüchtige Speicher für einen Job an die VMs an:
eines der folgenden Elemente enthalten:
<ph type="x-smartling-placeholder">
- </ph>
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Schließen Sie die Methode
setDisks
ein. - Wenn Sie für diesen Job eine VM-Instanzvorlage verwenden,
Schließen Sie die Methode
setInstanceTemplate
ein.
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Schließen Sie die Methode
- Stellen Sie die nichtflüchtigen Speicher für den Job mit der Methode
Volume
Kurs mit der MethodesetDeviceName
undsetMountPath
-Methode. Verwenden Sie für neue nichtflüchtige Speicher auch diesetMountOptions
-Methode um das Schreiben zu ermöglichen.
Ein Codebeispiel für einen ähnlichen Anwendungsfall finden Sie unter Cloud Storage-Bucket verwenden
Node.js
Um einen Batchjob zu erstellen, der neue oder vorhandene verwendet
nichtflüchtige Speicher mit
Die Cloud-Clientbibliotheken für Node.js verwenden die Methode
createJob
-Methode
und Folgendes enthalten:
- So hängen Sie nichtflüchtige Speicher für einen Job an die VMs an:
eines der folgenden Elemente enthalten:
<ph type="x-smartling-placeholder">
- </ph>
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
enthalten die Klasse
AllocationPolicy.AttachedDisk
. - Wenn Sie für diesen Job eine VM-Instanzvorlage verwenden,
Fügen Sie die Property
instanceTemplate
hinzu.
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
enthalten die Klasse
- Stellen Sie die nichtflüchtigen Speicher für den Job mit der Methode
Volume
Kurs mit der PropertydeviceName
undmountPath
-Property. Verwenden Sie für neue nichtflüchtige Speicher auch diemountOptions
-Property um das Schreiben zu ermöglichen.
Ein Codebeispiel für einen ähnlichen Anwendungsfall finden Sie unter Cloud Storage-Bucket verwenden
Python
Um einen Batchjob zu erstellen, der neue oder vorhandene verwendet
nichtflüchtige Speicher mit
die Cloud-Clientbibliotheken für Python, verwenden Sie
CreateJob
-Funktion
und Folgendes enthalten:
- So hängen Sie nichtflüchtige Speicher für einen Job an die VMs an:
eines der folgenden Elemente enthalten:
<ph type="x-smartling-placeholder">
- </ph>
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
enthalten die Klasse
AttachedDisk
. - Wenn Sie für diesen Job eine VM-Instanzvorlage verwenden,
Das Attribut
instance_template
muss enthalten sein.
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
enthalten die Klasse
- Stellen Sie die nichtflüchtigen Speicher für den Job mit der Methode
Volume
Kurs mit dem Attributdevice_name
undmount_path
. Verwenden Sie für neue nichtflüchtige Speicher auch diemount_options
, um den Schreibvorgang zu ermöglichen.
Ein Codebeispiel für einen ähnlichen Anwendungsfall finden Sie unter Cloud Storage-Bucket verwenden
C++
Um einen Batchjob zu erstellen, der neue oder vorhandene verwendet
nichtflüchtige Speicher mit
die Cloud-Clientbibliotheken für C++, verwenden Sie
CreateJob
-Funktion
und Folgendes enthalten:
- So hängen Sie nichtflüchtige Speicher für einen Job an die VMs an:
eines der folgenden Elemente enthalten:
<ph type="x-smartling-placeholder">
- </ph>
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Verwenden Sie die Methode
set_remote_path
. - Wenn Sie für diesen Job eine VM-Instanzvorlage verwenden, nutzen Sie die Methode
set_instance_template
-Methode.
- Wenn Sie für diesen Job keine VM-Instanzvorlage verwenden,
Verwenden Sie die Methode
- Um die nichtflüchtigen Speicher für den Job bereitzustellen, verwenden Sie das Feld
volumes
mit die FelderdeviceName
undmountPath
. Bei neuen nichtflüchtigen Speichern gilt: verwenden Sie das FeldmountOptions
, um den Schreibvorgang zu ermöglichen.
Ein Codebeispiel für einen ähnlichen Anwendungsfall finden Sie unter Cloud Storage-Bucket verwenden
Lokale SSD verwenden
Für einen Job, der lokale SSDs verwendet, gelten die folgenden Einschränkungen:
- Alle lokalen SSDs für alle lokalen SSDs gelten.
- Instanzvorlagen Wenn Sie beim Erstellen dieses Jobs eine VM-Instanzvorlage angeben, Sie müssen alle nichtflüchtigen Speicher für diesen Job im Instanzvorlage. Wenn Sie keine Instanz verwenden möchten, müssen Sie alle nichtflüchtigen Speicher direkt der Jobdefinition.
Sie können einen Job erstellen, der eine lokale SSD verwendet, mit der Methode
gcloud CLI oder Batch API verwenden.
Im folgenden Beispiel wird beschrieben, wie Sie einen Job erstellen, mit dem Sie
eine lokale SSD bereitstellt. Der Job umfasst außerdem 3 Aufgaben
Jeder dieser Server führt ein Skript aus, um eine Datei mit dem Namen
output_task_TASK_INDEX.txt
, wobei
TASK_INDEX
ist der Index jeder Aufgabe:
0
, 1
und 2
.
gcloud
So erstellen Sie einen Job, der lokale SSDs verwendet:
gcloud CLI verwenden, verwenden Sie die
gcloud batch jobs submit
-Befehl
Erstellen Sie in der JSON-Konfigurationsdatei des Jobs die lokalen SSDs in der
instances
und stellen Sie die lokalen SSDs im Feld volumes
bereit.
Erstellen Sie eine JSON-Datei.
Wenn Sie für diesen Job keine Instanzvorlage verwenden, Erstellen Sie eine JSON-Datei mit folgendem Inhalt:
{ "allocationPolicy": { "instances": [ { "policy": { "machineType": MACHINE_TYPE, "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ] } } ] }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/LOCAL_SSD_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "LOCAL_SSD_NAME", "mountPath": "/mnt/disks/LOCAL_SSD_NAME", "mountOptions": "rw,async" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
MACHINE_TYPE
: die Maschinentyp, bei dem es sich um vordefiniert oder benutzerdefiniert, der VMs des Jobs. Die zulässige Anzahl lokaler SSDs hängt vom Maschinentyp für die VMs des Jobs ab.LOCAL_SSD_NAME
: der Name einer lokalen SSD, die für diesen Job erstellt wurde.LOCAL_SSD_SIZE
: die Größe von alle lokalen SSDs in GB an. Jede lokale SSD hat 375 GB, muss dieser Wert ein Vielfaches von375
GB sein. Für Legen Sie diesen Wert beispielsweise für zwei lokale SSDs auf750
GB fest.
Wenn Sie mit einer VM-Instanzvorlage für diesen Job, wie oben gezeigt eine JSON-Datei erstellen, außer dass Feld „
instances
“ Dabei gilt:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ],
wobei
INSTANCE_TEMPLATE_NAME
der Name ist der Instanzvorlage für diesen Job. Für einen Job, bei dem lokale SSDs definiert und angehängt wird, lokale SSDs, die der Job verwenden soll. In diesem Beispiel In der Vorlage muss eine lokale SSD mit dem NamenLOCAL_SSD_NAME
Führen Sie dazu diesen Befehl aus:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ersetzen Sie Folgendes:
JOB_NAME
: der Name des Jobs.LOCATION
: der Standort des Jobs.JSON_CONFIGURATION_FILE
: der Pfad für eine JSON-Datei mit den Konfigurationsdetails des Jobs.
API
So erstellen Sie einen Job, der lokale SSDs verwendet:
Batch API verwenden, verwenden Sie
jobs.create
-Methode.
Erstellen Sie in der Anfrage die lokalen SSDs in der
instances
und stellen Sie die lokalen SSDs im Feld volumes
bereit.
Wenn Sie für diesen Job keine Instanzvorlage verwenden, gehen Sie so vor: Anfrage:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "allocationPolicy": { "instances": [ { "policy": { "machineType": MACHINE_TYPE, "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ] } } ] }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/LOCAL_SSD_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "LOCAL_SSD_NAME", "mountPath": "/mnt/disks/LOCAL_SSD_NAME", "mountOptions": "rw,async" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JOB_NAME
: der Name des Jobs.MACHINE_TYPE
: die Maschinentyp, bei dem es sich um vordefiniert oder benutzerdefiniert, der VMs des Jobs. Die zulässige Anzahl lokaler SSDs hängt vom Maschinentyp für die VMs des Jobs ab.LOCAL_SSD_NAME
: der Name einer lokalen SSD, die für diesen Job erstellt wurde.LOCAL_SSD_SIZE
: die Größe von alle lokalen SSDs in GB an. Jede lokale SSD hat 375 GB, muss dieser Wert ein Vielfaches von375
GB sein. Für Legen Sie diesen Wert beispielsweise für zwei lokale SSDs auf750
GB fest.
Wenn Sie mit einer VM-Instanzvorlage für diesen Job, wie oben gezeigt eine JSON-Datei erstellen, außer dass Feld „
instances
“ Dabei gilt:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ], ...
Dabei ist
INSTANCE_TEMPLATE_NAME
der Name der Instanzvorlage für diesen Job. Für einen Job, bei dem lokale SSDs definiert und angehängt wird, lokale SSDs, die der Job verwenden soll. In diesem Beispiel In der Vorlage muss eine lokale SSD mit dem NamenLOCAL_SSD_NAME
Cloud Storage-Bucket verwenden
So erstellen Sie einen Job, der einen vorhandenen Cloud Storage-Bucket verwendet: wählen Sie eine der folgenden Methoden aus:
- Empfohlen: Stellen Sie einen Bucket direkt auf den VMs Ihres Jobs bereit. Geben Sie dazu den Parameter Bucket in der Definition des Jobs hinzugefügt, wie in diesem Abschnitt gezeigt. Wenn der Job ausgeführt wird, wird der Bucket automatisch mithilfe von Cloud Storage FUSE
- Job mit Aufgaben erstellen, die direkt auf ein Cloud Storage-Bucket mithilfe der gcloud CLI oder Clientbibliotheken für die Cloud Storage API. Um zu erfahren, wie Sie auf ein Cloud Storage-Bucket direkt von einer VM aus abrufen können, Compute Engine-Dokumentation für Daten in Cloud Storage-Buckets schreiben und daraus lesen
Bevor Sie einen Job erstellen, der einen Bucket verwendet, erstellen Sie einen Bucket oder identifizieren Sie einen vorhanden ist. Weitere Informationen finden Sie unter Buckets erstellen und Buckets auflisten
Sie können einen Job erstellen, der einen Cloud Storage-Bucket verwendet, indem Sie die Google Cloud Console, gcloud CLI, Batch API, Go Java, Node.js, Python oder C++.
Im folgenden Beispiel wird beschrieben, wie Sie einen Job erstellen, bei dem ein
Cloud Storage-Bucket. Der Job hat außerdem 3 Aufgaben, die jeweils ausgeführt werden
ein Skript zum Erstellen einer Datei im Bucket namens
output_task_TASK_INDEX.txt
Dabei ist TASK_INDEX
der Index jeder Aufgabe:
0
, 1
und 2
.
Console
So erstellen Sie einen Job, der einen Cloud Storage-Bucket verwendet, mithilfe der Methode Führen Sie in der Google Cloud Console die folgenden Schritte aus:
Rufen Sie in der Google Cloud Console die Seite Jobliste auf.
Klicken Sie auf
Erstellen. Die Die Seite Batchjob erstellen wird geöffnet. Im linken Bereich Die Seite Jobdetails ist ausgewählt.Konfigurieren Sie die Seite Jobdetails:
Optional: Passen Sie den Jobnamen im Feld Jobname an.
Geben Sie beispielsweise
example-bucket-job
ein.Konfigurieren Sie den Bereich Aufgabendetails:
Fügen Sie im Fenster New Runnable (Neu ausführbar) mindestens ein Skript hinzu oder Container für die Ausführung dieses Jobs.
Gehen Sie beispielsweise so vor:
Klicken Sie das Kästchen Script an. Ein Textfeld wird angezeigt.
Geben Sie das folgende Skript in das Textfeld ein:
echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt
Ersetzen Sie MOUNT_PATH durch den Bereitstellungspfad, den die Runnables dieses Jobs für den Zugriff vorhandener Cloud Storage-Bucket. Der Pfad muss beginnen mit
/mnt/disks/
gefolgt von einem Verzeichnis oder Pfad, der Ihrer Wahl. Wenn Sie beispielsweise mit dem Verzeichnismy-bucket
, legen Sie den Bereitstellungspfad zu/mnt/disks/my-bucket
.Klicken Sie auf Fertig.
Geben Sie in das Feld Aufgabenanzahl die Anzahl der Aufgaben ein, für diesen Job.
Geben Sie beispielsweise
3
ein.Geben Sie in das Feld Parallelism die Anzahl der Tasks ein, gleichzeitig ausgeführt werden.
Geben Sie beispielsweise
1
ein (Standardeinstellung).
Konfigurieren Sie die Seite Zusätzliche Konfigurationen:
Klicken Sie im linken Bereich auf Zusätzliche Konfigurationen. Die Seite Zusätzliche Konfigurationen wird geöffnet.
Für jeden Cloud Storage-Bucket, den Sie bereitstellen möchten gehen Sie so vor:
Klicken Sie im Abschnitt Speichervolumen auf Neues Volume hinzufügen. Das Fenster Neues Volume wird angezeigt.
Führen Sie im Fenster Neues Volume die folgenden Schritte aus:
Wählen Sie im Abschnitt Volume-Typ die Option Cloud Storage-Bucket aus.
Geben Sie im Feld Name des Storage-Buckets den Namen einen vorhandenen Bucket.
Geben Sie z. B. den Bucket ein, den Sie in diesem Job ausführbar ist.
Geben Sie im Feld Bereitstellungspfad den Bereitstellungspfad des Bucket (MOUNT_PATH), den Sie das im Runnable angegeben ist.
Klicken Sie auf Fertig.
Optional: Konfigurieren Sie die weitere Felder für diesen Job.
Optional: Um die Jobkonfiguration zu überprüfen, klicken Sie auf Vorschau.
Klicken Sie auf Erstellen.
Auf der Seite Jobdetails wird der von Ihnen erstellte Job angezeigt.
gcloud
So erstellen Sie einen Job, der einen Cloud Storage-Bucket verwendet, mithilfe der Methode
gcloud CLI verwenden, verwenden Sie die
gcloud batch jobs submit
-Befehl
Stellen Sie den Bucket in der JSON-Konfigurationsdatei des Jobs im
volumes
.
So erstellen Sie beispielsweise einen Job, der Dateien an einen Cloud Storage ausgibt:
Erstellen Sie eine package.json-Datei mit folgendem Inhalt:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "gcs": { "remotePath": "BUCKET_PATH" }, "mountPath": "MOUNT_PATH" } ] }, "taskCount": 3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
BUCKET_PATH
: Pfad des Bucket-Verzeichnisses auf den dieser Job zugreifen soll. Er muss mit dem aus dem Bucket. Für einen Bucket namensBUCKET_NAME
, der PfadBUCKET_NAME
steht für das Stammverzeichnis des Buckets und dem PfadBUCKET_NAME/subdirectory
steht für das Unterverzeichnissubdirectory
.MOUNT_PATH
: der Bereitstellungspfad des Jobs die Runnables verwenden, um auf diesen Bucket zuzugreifen. Der Pfad muss mit/mnt/disks/
gefolgt von einem Verzeichnis oder Pfad Ihrer Wahl. Für Wenn Sie diesen Bucket mit einem Verzeichnis namensmy-bucket
, legen Sie den Bereitstellungspfad auf/mnt/disks/my-bucket
fest.
Führen Sie dazu diesen Befehl aus:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ersetzen Sie Folgendes:
JOB_NAME
: der Name des Jobs.LOCATION
: der Standort des Jobs.JSON_CONFIGURATION_FILE
: der Pfad für eine JSON-Datei mit den Konfigurationsdetails des Jobs.
API
So erstellen Sie einen Job, der einen Cloud Storage-Bucket verwendet, mithilfe der Methode
Batch API verwenden, verwenden Sie
jobs.create
-Methode
und stellen Sie den Bucket im Feld volumes
bereit.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt"
}
}
],
"volumes": [
{
"gcs": {
"remotePath": "BUCKET_PATH"
},
"mountPath": "MOUNT_PATH"
}
]
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JOB_NAME
: der Name des Jobs.BUCKET_PATH
: Pfad des Bucket-Verzeichnisses auf den dieser Job zugreifen soll. Er muss mit dem Namen des Buckets. Für einen Bucket namensBUCKET_NAME
, der PfadBUCKET_NAME
steht für die Wurzel. Verzeichnis des Buckets und PfadBUCKET_NAME/subdirectory
steht für das Unterverzeichnissubdirectory
.MOUNT_PATH
: der Bereitstellungspfad des Jobs die Runnables verwenden, um auf diesen Bucket zuzugreifen. Der Pfad muss mit/mnt/disks/
gefolgt von einem Verzeichnis oder Pfad Ihrer Wahl. Wenn Sie diesen Bucket beispielsweise mit einem im Verzeichnismy-bucket
, legen Sie den Bereitstellungspfad auf/mnt/disks/my-bucket
.
Go
Go
Weitere Informationen finden Sie in der Batch Go API Referenzdokumentation.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Batch zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Java
Weitere Informationen finden Sie in der Batch Java API Referenzdokumentation.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Batch zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Node.js
Weitere Informationen finden Sie in der Batch Node.js API Referenzdokumentation.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Batch zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Python
Weitere Informationen finden Sie in der Batch Python API Referenzdokumentation.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Batch zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
C++
C++
Weitere Informationen finden Sie in der Batch C++ API Referenzdokumentation.
Richten Sie Standardanmeldedaten für Anwendungen ein, um sich bei Batch zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Netzwerkdateisystem verwenden
Sie können einen Job erstellen, der ein vorhandenes Network File System (NFS) verwendet, wie eine Filestore-Dateifreigabe über die Google Cloud Console, die gcloud CLI oder Batch API
Prüfen Sie vor dem Erstellen eines Jobs, der ein NFS verwendet, dass die Firewall des Netzwerks so konfiguriert ist, dass der Datenverkehr zwischen die VMs und das NFS Ihres Jobs. Weitere Informationen finden Sie unter Firewallregeln für Filestore konfigurieren
Im folgenden Beispiel wird beschrieben, wie Sie einen Job erstellen, der
stellt ein NFS bereit. Der Job hat außerdem 3
Aufgaben, die jeweils ein Skript ausführen, um eine Datei im NFS mit dem Namen
output_task_TASK_INDEX.txt
Dabei ist TASK_INDEX
der Index jeder Aufgabe:
0
, 1
und 2
.
Console
So erstellen Sie mit der Google Cloud Console einen Job, der ein NFS verwendet: Gehen Sie so vor:
Rufen Sie in der Google Cloud Console die Seite Jobliste auf.
Klicken Sie auf
Erstellen. Die Die Seite Batchjob erstellen wird geöffnet. Im linken Bereich Die Seite Jobdetails ist ausgewählt.Konfigurieren Sie die Seite Jobdetails:
Optional: Passen Sie den Jobnamen im Feld Jobname an.
Geben Sie beispielsweise
example-nfs-job
ein.Konfigurieren Sie den Bereich Aufgabendetails:
Fügen Sie im Fenster New Runnable (Neu ausführbar) mindestens ein Skript hinzu oder Container für die Ausführung dieses Jobs.
Gehen Sie beispielsweise so vor:
Klicken Sie das Kästchen Script an. Ein Textfeld wird angezeigt.
Geben Sie das folgende Skript in das Textfeld ein:
echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt
Ersetzen Sie MOUNT_PATH durch den Bereitstellungspfad, den die ausführbare Datei des Jobs für den Zugriff auf dieses NFS verwendet. Der Pfad muss mit
/mnt/disks/
beginnen, gefolgt von einem Verzeichnis oder Pfad Ihrer Wahl. Wenn Sie beispielsweise dieses NFS mit einem Verzeichnis namensmy-nfs
, legen Sie den Bereitstellungspfad auf/mnt/disks/my-nfs
fest.Klicken Sie auf Fertig.
Geben Sie in das Feld Aufgabenanzahl die Anzahl der Aufgaben ein, für diesen Job.
Geben Sie beispielsweise
3
ein.Geben Sie in das Feld Parallelism die Anzahl der Tasks ein, gleichzeitig ausgeführt werden.
Geben Sie beispielsweise
1
ein (Standardeinstellung).
Konfigurieren Sie die Seite Zusätzliche Konfigurationen:
Klicken Sie im linken Bereich auf Zusätzliche Konfigurationen. Die Seite Zusätzliche Konfigurationen wird geöffnet.
Für jeden Cloud Storage-Bucket, den Sie bereitstellen möchten gehen Sie so vor:
Klicken Sie im Abschnitt Speichervolumen auf Neues Volume hinzufügen. Das Fenster Neues Volume wird angezeigt.
Führen Sie im Fenster Neues Volume die folgenden Schritte aus:
Gehen Sie im Bereich Volume-Typ so vor: Wählen Sie Netzwerkdateisystem aus.
Geben Sie in das Feld Dateiserver die IP-Adresse des Server mit dem NFS, den Sie in der ausführbaren Datei dieses Jobs angegeben haben, befindet.
Wenn Ihr NFS beispielsweise ein Filestore-Dateifreigabe, Geben Sie dann die IP-Adresse von Filestore an. die Sie erhalten, indem Sie beschreiben der Filestore-Instanz
Geben Sie im Feld Remote-Pfad einen Pfad ein, der auf das NFS, das Sie im vorherigen Schritt angegeben haben.
Der Pfad des NFS-Verzeichnisses muss mit
/
beginnen gefolgt vom Stammverzeichnis des NFS.Geben Sie im Feld Bereitstellungspfad den Bereitstellungspfad zum NFS ein (MOUNT_PATH), die Sie in aus dem vorherigen Schritt.
Klicken Sie auf Fertig.
Optional: Konfigurieren Sie die weitere Felder für diesen Job.
Optional: Um die Jobkonfiguration zu überprüfen, klicken Sie auf Vorschau.
Klicken Sie auf Erstellen.
Auf der Seite Jobdetails wird der von Ihnen erstellte Job angezeigt.
gcloud
So erstellen Sie einen Job, der ein NFS verwendet, mithilfe der Methode
gcloud CLI verwenden, verwenden Sie die
gcloud batch jobs submit
-Befehl
Stellen Sie das NFS in der JSON-Konfigurationsdatei des Jobs in der
volumes
.
Erstellen Sie eine package.json-Datei mit folgendem Inhalt:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "nfs": { "server": "NFS_IP_ADDRESS", "remotePath": "NFS_PATH" }, "mountPath": "MOUNT_PATH" } ] }, "taskCount": 3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Ersetzen Sie Folgendes:
NFS_IP_ADDRESS
: die IP-Adresse des NFS. Wenn zum Beispiel NFS ist eine Filestore-Dateifreigabe, die IP-Adresse von Filestore angeben die Sie erhalten, indem Sie beschreiben der Filestore-InstanzNFS_PATH
: Pfad des NFS-Verzeichnisses auf den dieser Job zugreifen soll. Er muss mit einem/
beginnen. gefolgt vom Stammverzeichnis des NFS. Beispiel: Für eine Filestore-Dateifreigabe namensFILE_SHARE_NAME
, der Pfad/FILE_SHARE_NAME
steht für die Wurzel Verzeichnis der Dateifreigabe und den Pfad/FILE_SHARE_NAME/subdirectory
steht für das Unterverzeichnissubdirectory
.MOUNT_PATH
: der Bereitstellungspfad des Jobs Runnables verwenden, um auf dieses NFS zuzugreifen. Der Pfad muss mit/mnt/disks/
gefolgt von einem Verzeichnis oder Pfad Ihrer Wahl. Wenn Sie dieses NFS beispielsweise mit einem im Verzeichnis mit dem Namenmy-nfs
den Bereitstellungspfad auf/mnt/disks/my-nfs
festlegen.
Führen Sie dazu diesen Befehl aus:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Ersetzen Sie Folgendes:
JOB_NAME
: der Name des Jobs.LOCATION
: der Standort des Jobs.JSON_CONFIGURATION_FILE
: der Pfad für eine JSON-Datei mit den Konfigurationsdetails des Jobs.
API
So erstellen Sie einen Job, der ein NFS verwendet, mithilfe der Methode
Batch API verwenden, verwenden Sie
jobs.create
-Methode
und stellen Sie das NFS im Feld volumes
bereit.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt"
}
}
],
"volumes": [
{
"nfs": {
"server": "NFS_IP_ADDRESS",
"remotePath": "NFS_PATH"
},
"mountPath": "MOUNT_PATH"
}
]
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Ersetzen Sie Folgendes:
PROJECT_ID
: die Projekt-ID Ihres Projekts.LOCATION
: der Standort des Jobs.JOB_NAME
: der Name des Jobs.NFS_IP_ADDRESS
: die IP-Adresse des Network File Systems. Wenn zum Beispiel NFS ist eine Filestore-Dateifreigabe, die IP-Adresse von Filestore angeben die Sie erhalten, indem Sie beschreiben der Filestore-InstanzNFS_PATH
: Pfad des NFS-Verzeichnisses auf den dieser Job zugreifen soll. Er muss mit einem/
beginnen. gefolgt vom Stammverzeichnis des NFS. Beispiel: Für eine Filestore-Dateifreigabe namensFILE_SHARE_NAME
, der Pfad/FILE_SHARE_NAME
steht für die Wurzel Verzeichnis der Dateifreigabe und den Pfad/FILE_SHARE_NAME/subdirectory
für ein Unterverzeichnis.MOUNT_PATH
: der Bereitstellungspfad des Jobs Runnables verwenden, um auf dieses NFS zuzugreifen. Der Pfad muss mit/mnt/disks/
gefolgt von einem Verzeichnis oder Pfad Ihrer Wahl. Wenn Sie dieses NFS beispielsweise mit einem im Verzeichnis mit dem Namenmy-nfs
den Bereitstellungspfad auf/mnt/disks/my-nfs
festlegen.
Nächste Schritte
- Wenn beim Erstellen oder Ausführen eines Jobs Probleme auftreten, lesen Sie den Abschnitt Fehlerbehebung.
- Aufträge und Aufgaben ansehen
- Weitere Informationen zu Optionen für die Joberstellung