Questo documento spiega come creare ed eseguire un job batch che utilizza uno o più volumi di archiviazione esterni. Le opzioni di archiviazione esterna includono un disco permanente nuovo o esistente, SSD locali nuovi, bucket Cloud Storage esistenti e un file system di rete (NFS) esistente, come una condivisione file Filestore.
Indipendentemente dall'aggiunta di volumi di archiviazione esterni, ogni VM di Compute Engine per un job ha un disco di avvio che fornisce spazio di archiviazione per l'immagine e le istruzioni del sistema operativo del job. Per informazioni sulla configurazione del disco di avvio per un job, consulta la panoramica dell'ambiente del sistema operativo VM.
Prima di iniziare
- Se non hai mai utilizzato Batch, consulta la Guida introduttiva all'utilizzo di Batch e abilita questa funzionalità completando i prerequisiti per progetti e utenti.
-
Per ottenere le autorizzazioni necessarie per creare un job, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Editor job batch (
roles/batch.jobsEditor
) sul progetto -
Utente account di servizio (
roles/iam.serviceAccountUser
) nell'account di servizio del job, che per impostazione predefinita è l'account di servizio Compute Engine predefinito -
Crea un job che utilizza un bucket Cloud Storage:
Visualizzatore oggetti Storage (
roles/storage.objectViewer
) nel bucket
Per saperne di più sulla concessione dei ruoli, vedi Gestire l'accesso.
Potresti anche essere in grado di ottenere le autorizzazioni richieste tramite ruoli personalizzati o altri ruoli predefiniti.
-
Editor job batch (
Crea un job che utilizza volumi di archiviazione
Facoltativamente, un job può utilizzare uno o più di ciascuno dei seguenti tipi di volumi di archiviazione esterna. Per ulteriori informazioni su tutti i tipi di volumi di archiviazione, nonché sulle differenze e sulle restrizioni per ciascuno, consulta la documentazione sulle opzioni di archiviazione delle VM di Compute Engine.
- disco permanente: archiviazione a blocchi permanente a livello di zona o a livello di regione
- SSD locale: archiviazione a blocchi temporanea ad alte prestazioni
- Bucket Cloud Storage: archiviazione di oggetti a prezzi accessibili
- file system di rete (NFS): file system distribuito che segue il protocollo file system di rete, ad esempio una condivisione file Filestore, un NFS ad alte prestazioni ospitato su Google Cloud
Puoi consentire a un job di utilizzare ogni volume di archiviazione includendolo
nella definizione del job e specificando il relativo
percorso di montaggio (mountPath
)
negli elementi eseguibili. Per scoprire come creare un job che utilizza volumi di archiviazione, consulta una o più delle seguenti sezioni:
- Utilizzare un disco permanente
- Utilizzare un'unità SSD locale
- Utilizza un bucket Cloud Storage
- Utilizzare un file system di rete
Utilizza un disco permanente
Un job che utilizza dischi permanenti prevede le seguenti restrizioni:
Tutti i dischi permanenti: consulta le limitazioni per tutti i dischi permanenti.
Dischi permanenti nuovi e esistenti: ogni disco permanente in un job può essere nuovo (definito e creato con il job) o esistente (già creato nel progetto e specificato nel job). Per utilizzare un disco permanente, è necessario che sia formattato e montato nelle VM del job, che devono trovarsi nella stessa località del disco permanente. In modalità batch monta tutti i dischi permanenti che includi in un job e formatta tutti i nuovi dischi permanenti; tuttavia, devi formattare e smontare eventuali dischi permanenti esistenti che vuoi che vengano utilizzati dal job.
Le opzioni di località, le opzioni di formato e le opzioni di montaggio supportate variano tra i dischi permanenti nuovi ed esistenti, come descritto nella seguente tabella:
Nuovi dischi permanenti Dischi permanenti esistenti Opzioni formato Il disco permanente è formattato automaticamente con un file system
ext4
.Devi formattare il disco permanente in modo da utilizzare un file system
ext4
prima di utilizzarlo per un job.Opzioni di montaggio Sono supportate tutte le opzioni.
Tutte le opzioni tranne la scrittura sono supportate. Ciò è dovuto alle limitazioni della modalità multi-writer.
Devi scollegare il disco permanente dalle VM a cui è collegato prima di utilizzarlo per un job.
Opzioni per località Puoi creare solo dischi permanenti a livello di zona.
Puoi selezionare qualsiasi località per il lavoro. I dischi permanenti vengono creati nella zona in cui viene eseguito il progetto.
Puoi selezionare dischi permanenti di zona e a livello di regione.
Devi impostare la località del job (o, se specificata, solo le località consentite del job) su solo le località che contengono tutti i dischi permanenti del job. Ad esempio, per un disco permanente a livello di zona, la località del job deve essere la zona del disco; per un disco permanente a livello di regione, la località del job deve essere la regione del disco oppure, se specifichi le zone, una o entrambe le zone specifiche in cui si trova il disco permanente a livello di regione.Modelli di istanza: se vuoi utilizzare un modello di istanza VM durante la creazione di questo job, devi collegare uno o più disco permanente per questo job nel modello di istanza. In caso contrario, se non vuoi utilizzare un modello di istanza, devi collegare qualsiasi disco permanente direttamente nella definizione del job.
Puoi creare un job che utilizza un disco permanente utilizzando la console Google Cloud, l'interfaccia a riga di comando gcloud CLI'API Batch, Go, Java, Node.js, Python o C++.
Console
Utilizzando la console Google Cloud, l'esempio seguente crea un job che esegue uno script per leggere un file da un disco permanente di zona esistente che si trova nella zona us-central1-a
. Lo script di esempio presuppone che il job abbia un disco permanente a livello di zona esistente che contiene un file di testo denominato example.txt
nella directory radice.
(Facoltativo) Crea un disco permanente di zona di esempio
Se vuoi creare un disco permanente a livello di zona da utilizzare per eseguire lo script di esempio, segui questi passaggi prima di creare il job:
Collega un nuovo nome permanente vuoto
example-disk
a una VM Linux nella zonaus-central1-a
, quindi esegui i comandi sulla VM per formattare e montare il disco. Per le istruzioni, consulta Aggiungere un disco permanente alla VM.Non disconnetterti ancora dalla VM.
Per creare
example.txt
sul disco permanente, esegui questi comandi sulla VM:Per modificare la directory di lavoro attuale nella directory principale del disco permanente, digita questo comando:
cd VM_MOUNT_PATH
Sostituisci VM_MOUNT_PATH con il percorso della directory in cui il disco permanente è stato montato in questa VM nel passaggio precedente, ad esempio
/mnt/disks/example-disk
.Premi
Enter
.Per creare e definire un file denominato
example.txt
, digita questo comando:cat > example.txt
Premi
Enter
.Digita i contenuti del file. Ad esempio, digita
Hello world!
.Per salvare il file, premi
Ctrl+D
(oCommand+D
su macOS).
Al termine, puoi disconnetterti dalla VM.
Scollega il disco permanente dalla VM.
Se non hai più bisogno della VM, puoi eliminarla, che stacca automaticamente il disco permanente.
In caso contrario, scollega il disco permanente. Per le istruzioni, consulta Scollegamento e ricollegamento dei dischi di avvio e scollega il disco permanente
example-disk
anziché il disco di avvio della VM.
Crea un job che utilizza il disco permanente di zona esistente
Per creare un job che utilizza dischi permanenti a livello di zona esistenti utilizzando la console Google Cloud:
Nella console Google Cloud, vai alla pagina Elenco job.
Fai clic su
Crea. Viene visualizzata la pagina Crea job batch. Nel riquadro a sinistra, è selezionata la pagina Dettagli job.Configura la pagina Dettagli job:
(Facoltativo) Nel campo Nome job, personalizza il nome del job.
Ad esempio, inserisci
example-disk-job
.Configura la sezione Dettagli attività:
Nella finestra Nuovo eseguibile, aggiungi almeno uno script o un container da eseguire per questo job.
Ad esempio, per eseguire uno script che stampa i contenuti di un file denominato
example.txt
e situato nella directory radice del disco permanente utilizzato da questo job:Seleziona la casella di controllo Script. Viene visualizzata una casella di testo.
Inserisci il seguente script nella casella di testo:
echo "Here is the content of the example.txt file in the persistent disk." cat MOUNT_PATH/example.txt
Sostituisci MOUNT_PATH con il percorso in cui prevedi di montare il disco permanente sulle VM per questo job, ad esempio
/mnt/disks/example-disk
.Fai clic su Fine.
Nel campo Conteggio attività, inserisci il numero di attività per il job.
Ad esempio, inserisci
1
(valore predefinito).Nel campo Parallelismo, inserisci il numero di attività da eseguire contemporaneamente.
Ad esempio, inserisci
1
(valore predefinito).
Configura la pagina Specifiche delle risorse:
Nel riquadro a sinistra, fai clic su Specifiche delle risorse. Viene visualizzata la pagina Specifiche delle risorse.
Seleziona la località per questo lavoro. Per utilizzare un disco permanente di zona esistente, le VM di un job devono trovarsi nella stessa zona.
Nel campo Regione, seleziona una regione.
Ad esempio, per utilizzare il disco permanente di esempio a livello di zona, seleziona
us-central1 (Iowa)
(impostazione predefinita).Seleziona una zona nel campo Zona.
Ad esempio, seleziona
us-central1-a (Iowa)
.
Configura la pagina Configurazioni aggiuntive:
Nel riquadro a sinistra, fai clic su Configurazioni aggiuntive. Viene visualizzata la pagina Configurazioni aggiuntive.
Per ogni disco permanente di zona esistente che vuoi montare in questo job, segui questi passaggi:
Nella sezione Volume di archiviazione, fai clic su Aggiungi nuovo volume. Viene visualizzata la finestra Nuovo volume.
Nella finestra Nuovo volume, procedi nel seguente modo:
Nella sezione Tipo di volume, seleziona Disco permanente (impostazione predefinita).
Nell'elenco Disco, seleziona un disco permanente di zona esistente da montare in questo job. Il disco deve trovarsi nella stessa zona di questo job.
Ad esempio, seleziona il disco permanente di zona esistente che hai preparato, che si trova nella zona
us-central1-a
e contiene il fileexample.txt
.(Facoltativo) Se vuoi rinominare questo disco permanente a livello di zona, segui questi passaggi:
Seleziona Personalizza il nome del dispositivo.
Nel campo Nome dispositivo, inserisci il nuovo nome per il disco.
Nel campo Percorso di montaggio, inserisci il percorso di montaggio (MOUNT_PATH) per questo disco permanente:
Ad esempio, inserisci quanto segue:
/mnt/disks/EXISTING_PERSISTENT_DISK_NAME
Sostituisci EXISTING_PERSISTENT_DISK_NAME con il nome del disco. Se hai rinominato il disco permanente di zona, utilizza il nuovo nome.
Ad esempio, sostituisci EXISTING_PERSISTENT_DISK_NAME con
example-disk
.Fai clic su Fine.
(Facoltativo) Configura gli altri campi per questo job.
(Facoltativo) Per esaminare la configurazione del job, nel riquadro a sinistra, fai clic su Anteprima.
Fai clic su Crea.
Nella pagina Elenco job viene visualizzato il job che hai creato.
gcloud
Utilizzando lgcloud CLI, l'esempio seguente crea un job che collega e monta un disco permanente esistente e un nuovo disco permanente.
Il job include 3 attività, ciascuna delle quali esegue uno script per creare un file nel nuovo disco permanente denominato output_task_TASK_INDEX.txt
, dove TASK_INDEX è l'indice di ogni attività: 0, 1 e 2.
Per creare un job che utilizza dischi permanenti mediante gcloud CLI, utilizza il comando gcloud batch jobs submit
.
Nel file di configurazione JSON del job, specifica i dischi permanenti nel campo instances
e montali nel campo volumes
.
Crea un file JSON.
Se non utilizzi un modello di istanza per questo job, crea un file JSON con i seguenti contenuti:
{ "allocationPolicy": { "instances": [ { "policy": { "disks": [ { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "existingDisk": "projects/PROJECT_ID/EXISTING_PERSISTENT_DISK_LOCATION/disks/EXISTING_PERSISTENT_DISK_NAME" }, { "newDisk": { "sizeGb": NEW_PERSISTENT_DISK_SIZE, "type": "NEW_PERSISTENT_DISK_TYPE" }, "deviceName": "NEW_PERSISTENT_DISK_NAME" } ] } } ], "location": { "allowedLocations": [ "EXISTING_PERSISTENT_DISK_LOCATION" ] } }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/NEW_PERSISTENT_DISK_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "NEW_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/NEW_PERSISTENT_DISK_NAME", "mountOptions": "rw,async" }, { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/EXISTING_PERSISTENT_DISK_NAME" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto del progetto.EXISTING_PERSISTENT_DISK_NAME
: il nome di un disco permanente esistente.EXISTING_PERSISTENT_DISK_LOCATION
: la località di un disco permanente esistente. Per ogni disco permanente di zona esistente, la località del job deve essere la zona del disco; per ogni disco permanente a livello di regione esistente, la località del job deve corrispondere alla regione del disco o, se si specificano zone, una o entrambe le zone specifiche in cui si trova il disco permanente a livello di regione. Se non specifichi alcun disco permanente esistente, puoi selezionare qualsiasi località. Scopri di più sul campoallowedLocations
.NEW_PERSISTENT_DISK_SIZE
: le dimensioni del nuovo disco permanente in GB. Le dimensioni consentite dipendono dal tipo di disco permanente, ma il minimo è spesso 10 GB (10
) e quello massimo spesso è 64 TB (64000
).NEW_PERSISTENT_DISK_TYPE
: il tipo di disco del nuovo disco permanente,pd-standard
,pd-balanced
,pd-ssd
opd-extreme
. Per i job batch, il valore predefinito èpd-balanced
.NEW_PERSISTENT_DISK_NAME
: il nome del nuovo disco permanente.
Se utilizzi un modello di istanza VM per questo job, crea un file JSON come mostrato in precedenza, tranne per sostituire il campo
instances
con il seguente:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ],
dove
INSTANCE_TEMPLATE_NAME
è il nome del modello di istanza per questo job. Per un job che utilizza dischi permanenti, questo modello di istanza deve definire e collegare i dischi permanenti che devono essere utilizzati dal job. Per questo esempio, il modello deve definire e collegare un nuovo disco permanente denominatoNEW_PERSISTENT_DISK_NAME
e collegare un disco permanente esistente denominatoEXISTING_PERSISTENT_DISK_NAME
.
Esegui questo comando:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Sostituisci quanto segue:
JOB_NAME
: il nome del job.LOCATION
: la località del lavoro.JSON_CONFIGURATION_FILE
: il percorso di un file JSON con i dettagli di configurazione del job.
API
Utilizzando l'API Batch, l'esempio seguente crea un job che collega e monta un disco permanente esistente e un nuovo disco permanente. Il job ha 3 attività, ciascuna delle quali esegue uno script per creare un file nel nuovo disco permanente denominato
output_task_TASK_INDEX.txt
, dove
TASK_INDEX è l'indice di ogni attività: 0, 1 e 2.
Per creare un job che utilizza dischi permanenti con l'API Batch, utilizza il metodo jobs.create
.
Nella richiesta, specifica i dischi permanenti nel campo instances
e monta il disco permanente nel campo volumes
.
Se non utilizzi un modello di istanza per questo job, effettua la seguente richiesta:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "allocationPolicy": { "instances": [ { "policy": { "disks": [ { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "existingDisk": "projects/PROJECT_ID/EXISTING_PERSISTENT_DISK_LOCATION/disks/EXISTING_PERSISTENT_DISK_NAME" }, { "newDisk": { "sizeGb": NEW_PERSISTENT_DISK_SIZE, "type": "NEW_PERSISTENT_DISK_TYPE" }, "deviceName": "NEW_PERSISTENT_DISK_NAME" } ] } } ], "location": { "allowedLocations": [ "EXISTING_PERSISTENT_DISK_LOCATION" ] } }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/NEW_PERSISTENT_DISK_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "NEW_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/NEW_PERSISTENT_DISK_NAME", "mountOptions": "rw,async" }, { "deviceName": "EXISTING_PERSISTENT_DISK_NAME", "mountPath": "/mnt/disks/EXISTING_PERSISTENT_DISK_NAME" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto del progetto.LOCATION
: la località del lavoro.JOB_NAME
: il nome del job.EXISTING_PERSISTENT_DISK_NAME
: il nome di un disco permanente esistente.EXISTING_PERSISTENT_DISK_LOCATION
: la località di un disco permanente esistente. Per ogni disco permanente di zona esistente, la località del job deve essere la zona del disco; per ogni disco permanente a livello di regione esistente, la località del job deve essere la regione del disco oppure, se si specificano zone, una o entrambe le zone specifiche in cui si trova il disco permanente a livello di regione. Se non specifichi dischi permanenti esistenti, puoi selezionare qualsiasi località. Scopri di più sul campoallowedLocations
.NEW_PERSISTENT_DISK_SIZE
: le dimensioni del nuovo disco permanente in GB. Le dimensioni consentite dipendono dal tipo di disco permanente, ma il minimo è spesso 10 GB (10
) e quello massimo spesso è 64 TB (64000
).NEW_PERSISTENT_DISK_TYPE
: il tipo di disco del nuovo disco permanente,pd-standard
,pd-balanced
,pd-ssd
opd-extreme
. Per i job batch, il valore predefinito èpd-balanced
.NEW_PERSISTENT_DISK_NAME
: il nome del nuovo disco permanente.
Se utilizzi un modello di istanza VM per questo job, crea un file JSON come mostrato in precedenza, tranne per sostituire il campo
instances
con il seguente:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ], ...
Dove
INSTANCE_TEMPLATE_NAME
è il nome del modello di istanza per questo job. Per un job che utilizza dischi permanenti, questo modello di istanza deve definire e collegare i dischi permanenti che devono essere utilizzati dal job. Per questo esempio, il modello deve definire e collegare un nuovo disco permanente denominatoNEW_PERSISTENT_DISK_NAME
e collegare un disco permanente esistente denominatoEXISTING_PERSISTENT_DISK_NAME
.
Go
Per creare un job batch che utilizza dischi permanenti nuovi o esistenti tramite le librerie client Cloud per Go, utilizza la funzione CreateJob
e includi quanto segue:
- Per collegare i dischi permanenti alle VM per un job, includi uno dei seguenti elementi:
- Se non utilizzi un modello di istanza VM per questo job, includi il tipo
AllocationPolicy_AttachedDisk
. - Se utilizzi un modello di istanza VM per questo job, includi il tipo
AllocationPolicy_InstancePolicyOrTemplate_InstanceTemplate
.
- Se non utilizzi un modello di istanza VM per questo job, includi il tipo
- Per montare i dischi permanenti nel job, utilizza il tipo
Volume
con il tipoVolume_DeviceName
e il campoMountPath
. Per i nuovi dischi permanenti, utilizza anche il campoMountOptions
per abilitare la scrittura.
Per un esempio di codice di un caso d'uso simile, consulta Utilizzare un bucket Cloud Storage.
Java
Per creare un job batch che utilizza dischi permanenti nuovi o esistenti tramite le librerie client di Cloud per Java, utilizza la classe CreateJobRequest
e includi quanto segue:
- Per collegare i dischi permanenti alle VM per un job, includi uno dei seguenti elementi:
- Se non utilizzi un modello di istanza VM per questo job, includi il metodo
setDisks
. - Se utilizzi un modello di istanza VM per questo job, includi il metodo
setInstanceTemplate
.
- Se non utilizzi un modello di istanza VM per questo job, includi il metodo
- Per montare i dischi permanenti nel job, utilizza la classe
Volume
con i metodisetDeviceName
esetMountPath
. Per i nuovi dischi permanenti, utilizza anche il metodosetMountOptions
per abilitare la scrittura.
Per un esempio di codice di un caso d'uso simile, consulta Utilizzare un bucket Cloud Storage.
Node.js
Per creare un job batch che utilizza dischi permanenti nuovi o esistenti tramite le librerie client Cloud per Node.js, usa il metodo createJob
e includi quanto segue:
- Per collegare i dischi permanenti alle VM per un job, includi uno dei seguenti elementi:
- Se non utilizzi un modello di istanza VM per questo job, includi la classe
AllocationPolicy.AttachedDisk
. - Se utilizzi un modello di istanza VM per questo job, includi la proprietà
instanceTemplate
.
- Se non utilizzi un modello di istanza VM per questo job, includi la classe
- Per montare i dischi permanenti nel job, utilizza la classe
Volume
con la proprietàdeviceName
e la proprietàmountPath
. Per i nuovi dischi permanenti, utilizza anche la proprietàmountOptions
per abilitare la scrittura.
Per un esempio di codice di un caso d'uso simile, consulta Utilizzare un bucket Cloud Storage.
Python
Per creare un job batch che utilizza dischi permanenti nuovi o esistenti tramite le librerie client Cloud per Python, usa la funzione CreateJob
e includi quanto segue:
- Per collegare i dischi permanenti alle VM per un job, includi uno dei seguenti elementi:
- Se non utilizzi un modello di istanza VM per questo job, includi la classe
AttachedDisk
. - Se utilizzi un modello di istanza VM per questo job, includi l'attributo
instance_template
.
- Se non utilizzi un modello di istanza VM per questo job, includi la classe
- Per montare i dischi permanenti nel job, utilizza la classe
Volume
con l'attributodevice_name
e l'attributomount_path
. Per i nuovi dischi permanenti, utilizza anche l'attributomount_options
per abilitare la scrittura.
Per un esempio di codice di un caso d'uso simile, consulta Utilizzare un bucket Cloud Storage.
C++
Per creare un job batch che utilizza dischi permanenti nuovi o esistenti tramite le librerie client Cloud per C++, utilizza la funzione CreateJob
e includi quanto segue:
- Per collegare i dischi permanenti alle VM per un job, includi uno dei seguenti elementi:
- Se non utilizzi un modello di istanza VM per questo job, utilizza il metodo
set_remote_path
. - Se utilizzi un modello di istanza VM per questo job, utilizza il metodo
set_instance_template
.
- Se non utilizzi un modello di istanza VM per questo job, utilizza il metodo
- Per montare i dischi permanenti nel job, utilizza il campo
volumes
con i campideviceName
emountPath
. Per i nuovi dischi permanenti, utilizza anche il campomountOptions
per abilitare la scrittura.
Per un esempio di codice di un caso d'uso simile, consulta Utilizzare un bucket Cloud Storage.
Utilizza un SSD locale
Un job che utilizza SSD locali presenta le seguenti limitazioni:
- Tutte le SSD locali Consulta le limitazioni per tutte le SSD locali.
- Modelli di istanza Se vuoi specificare un modello di istanza VM durante la creazione di questo job, devi collegare uno o più disco permanente per questo job nel modello di istanza. Altrimenti, se non vuoi utilizzare un modello di istanza, devi collegare uno o più disco permanente direttamente nella definizione del job.
Puoi creare un job che utilizza un SSD locale utilizzando l'interfaccia a riga di comando gcloud o l'API Batch.
L'esempio seguente descrive come creare un job che crea, collega e monta un SSD locale. Il job include anche 3 attività, ciascuna delle quali esegue uno script per creare un file nell'SSD locale denominato output_task_TASK_INDEX.txt
, dove TASK_INDEX
è l'indice di ogni attività: 0
, 1
e 2
.
gcloud
Per creare un job che utilizza SSD locali mediante gcloud CLI, utilizza il comando gcloud batch jobs submit
.
Nel file di configurazione JSON del job, crea e collega le unità SSD locali nel campo instances
e monta le SSD locali nel campo volumes
.
Crea un file JSON.
Se non utilizzi un modello di istanza per questo job, crea un file JSON con i seguenti contenuti:
{ "allocationPolicy": { "instances": [ { "policy": { "machineType": MACHINE_TYPE, "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ] } } ] }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/LOCAL_SSD_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "LOCAL_SSD_NAME", "mountPath": "/mnt/disks/LOCAL_SSD_NAME", "mountOptions": "rw,async" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
MACHINE_TYPE
: il tipo di macchina, che può essere predefinita o personalizzata delle VM del job. Il numero consentito di SSD locali dipende dal tipo di macchina delle VM del job.LOCAL_SSD_NAME
: il nome di un SSD locale creato per questo job.LOCAL_SSD_SIZE
: la dimensione di tutte le SSD locali in GB. Ogni SSD locale ha una dimensione di 375 GB, quindi questo valore deve essere un multiplo di375
GB. Ad esempio, per 2 SSD locali, imposta questo valore su750
GB.
Se utilizzi un modello di istanza VM per questo job, crea un file JSON come mostrato in precedenza, tranne per sostituire il campo
instances
con il seguente:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ],
dove
INSTANCE_TEMPLATE_NAME
è il nome del modello di istanza per questo job. Per un job che utilizza SSD locali, questo modello di istanza deve definire e collegare le SSD locali che devono essere utilizzate dal job. Per questo esempio, il modello deve definire e collegare un'unità SSD locale denominataLOCAL_SSD_NAME
.
Esegui questo comando:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Sostituisci quanto segue:
JOB_NAME
: il nome del job.LOCATION
: la località del lavoro.JSON_CONFIGURATION_FILE
: il percorso di un file JSON con i dettagli di configurazione del job.
API
Per creare un job che utilizza SSD locali mediante l'API Batch, utilizza il metodo jobs.create
.
Nella richiesta, crea e collega le unità SSD locali nel campo instances
e monta le SSD locali nel campo volumes
.
Se non utilizzi un modello di istanza per questo job, effettua la seguente richiesta:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "allocationPolicy": { "instances": [ { "policy": { "machineType": MACHINE_TYPE, "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ] } } ] }, "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> /mnt/disks/LOCAL_SSD_NAME/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "deviceName": "LOCAL_SSD_NAME", "mountPath": "/mnt/disks/LOCAL_SSD_NAME", "mountOptions": "rw,async" } ] }, "taskCount":3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto del progetto.LOCATION
: la località del lavoro.JOB_NAME
: il nome del job.MACHINE_TYPE
: il tipo di macchina, che può essere predefinita o personalizzata delle VM del job. Il numero consentito di SSD locali dipende dal tipo di macchina delle VM del job.LOCAL_SSD_NAME
: il nome di un SSD locale creato per questo job.LOCAL_SSD_SIZE
: la dimensione di tutte le SSD locali in GB. Ogni SSD locale ha una dimensione di 375 GB, quindi questo valore deve essere un multiplo di375
GB. Ad esempio, per 2 SSD locali, imposta questo valore su750
GB.
Se utilizzi un modello di istanza VM per questo job, crea un file JSON come mostrato in precedenza, tranne per sostituire il campo
instances
con il seguente:"instances": [ { "instanceTemplate": "INSTANCE_TEMPLATE_NAME" } ], ...
Dove
INSTANCE_TEMPLATE_NAME
è il nome del modello di istanza per questo job. Per un job che utilizza SSD locali, questo modello di istanza deve definire e collegare le SSD locali che devono essere utilizzate dal job. Per questo esempio, il modello deve definire e collegare un'unità SSD locale denominataLOCAL_SSD_NAME
.
Utilizza un bucket Cloud Storage
Per creare un job che utilizza un bucket Cloud Storage esistente, seleziona uno dei seguenti metodi:
- Opzione consigliata: monta un bucket direttamente nelle VM del job specificando il bucket nella definizione del job, come mostrato in questa sezione. Durante l'esecuzione, il bucket viene montato automaticamente nelle VM del job utilizzando Cloud Storage FUSE.
- Crea un job con attività che accedono direttamente a un bucket Cloud Storage utilizzando lo strumento a riga di comando
gsutil
o le librerie client per l'API Cloud Storage. Per informazioni su come accedere a un bucket Cloud Storage direttamente da una VM, consulta la documentazione di Compute Engine per Scrittura e lettura di dati dai bucket Cloud Storage.
Prima di creare un job che utilizza un bucket, crea un bucket o identificane uno esistente. Per ulteriori informazioni, consulta Creare bucket ed Elencare i bucket.
Puoi creare un job che utilizza un bucket Cloud Storage utilizzando la console Google Cloud, l'interfaccia a riga di comando gcloud CLI'API Batch, Go, Java, Node.js, Python o C++.
L'esempio seguente descrive come creare un job che monta un bucket Cloud Storage. Il job include anche 3 attività, ciascuna delle quali esegue uno script per creare un file nel bucket denominato output_task_TASK_INDEX.txt
, dove TASK_INDEX
è l'indice di ogni attività: 0
, 1
e 2
.
Console
Per creare un job che utilizza un bucket Cloud Storage mediante la console Google Cloud, segui questi passaggi:
Nella console Google Cloud, vai alla pagina Elenco job.
Fai clic su
Crea. Viene visualizzata la pagina Crea job batch. Nel riquadro a sinistra, è selezionata la pagina Dettagli job.Configura la pagina Dettagli job:
(Facoltativo) Nel campo Nome job, personalizza il nome del job.
Ad esempio, inserisci
example-bucket-job
.Configura la sezione Dettagli attività:
Nella finestra Nuovo eseguibile, aggiungi almeno uno script o un container da eseguire per questo job.
Ad esempio, segui questi passaggi:
Seleziona la casella di controllo Script. Viene visualizzata una casella di testo.
Inserisci il seguente script nella casella di testo:
echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt
Sostituisci MOUNT_PATH con il percorso di montaggio utilizzato dagli eseguibili di questo job per accedere a un bucket Cloud Storage esistente. Il percorso deve iniziare con
/mnt/disks/
seguito da una directory o da un percorso a tua scelta. Ad esempio, se vuoi rappresentare questo bucket con una directory denominatamy-bucket
, imposta il percorso di montaggio su/mnt/disks/my-bucket
.Fai clic su Fine.
Nel campo Conteggio attività, inserisci il numero di attività per il job.
Ad esempio, inserisci
3
.Nel campo Parallelismo, inserisci il numero di attività da eseguire contemporaneamente.
Ad esempio, inserisci
1
(valore predefinito).
Configura la pagina Configurazioni aggiuntive:
Nel riquadro a sinistra, fai clic su Configurazioni aggiuntive. Viene visualizzata la pagina Configurazioni aggiuntive.
Per ogni bucket Cloud Storage che vuoi montare in questo job, segui questi passaggi:
Nella sezione Volume di archiviazione, fai clic su Aggiungi nuovo volume. Viene visualizzata la finestra Nuovo volume.
Nella finestra Nuovo volume, procedi nel seguente modo:
Nella sezione Tipo di volume, seleziona Bucket Cloud Storage.
Nel campo Nome bucket di archiviazione, inserisci il nome di un bucket esistente.
Ad esempio, inserisci il bucket specificato nell'esecuzione eseguibile di questo job.
Nel campo Percorso di montaggio, inserisci il percorso di montaggio del bucket (MOUNT_PATH), specificato nell'elemento eseguibile.
Fai clic su Fine.
(Facoltativo) Configura gli altri campi per questo job.
(Facoltativo) Per esaminare la configurazione del job, nel riquadro a sinistra, fai clic su Anteprima.
Fai clic su Crea.
Nella pagina Elenco job viene visualizzato il job che hai creato.
gcloud
Per creare un job che utilizza un bucket Cloud Storage mediante gcloud CLI, utilizza il comando gcloud batch jobs submit
.
Nel file di configurazione JSON del job, monta il bucket nel campo volumes
.
Ad esempio, per creare un job che genera file in Cloud Storage:
Crea un file JSON con i seguenti contenuti:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "gcs": { "remotePath": "BUCKET_PATH" }, "mountPath": "MOUNT_PATH" } ] }, "taskCount": 3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
BUCKET_PATH
: il percorso della directory del bucket a cui vuoi accedere per questo job, che deve iniziare con il nome del bucket. Ad esempio, per un bucket denominatoBUCKET_NAME
, il percorsoBUCKET_NAME
rappresenta la directory radice del bucket e il percorsoBUCKET_NAME/subdirectory
rappresenta la sottodirectorysubdirectory
.MOUNT_PATH
: il percorso di montaggio utilizzato dagli eseguibili del job per accedere a questo bucket. Il percorso deve iniziare con/mnt/disks/
seguito da una directory o da un percorso a tua scelta. Ad esempio, se vuoi rappresentare questo bucket con una directory denominatamy-bucket
, imposta il percorso di montaggio su/mnt/disks/my-bucket
.
Esegui questo comando:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Sostituisci quanto segue:
JOB_NAME
: il nome del job.LOCATION
: la località del lavoro.JSON_CONFIGURATION_FILE
: il percorso di un file JSON con i dettagli di configurazione del job.
API
Per creare un job che utilizza un bucket Cloud Storage mediante l'API Batch, utilizza il metodo jobs.create
e monta il bucket nel campo volumes
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt"
}
}
],
"volumes": [
{
"gcs": {
"remotePath": "BUCKET_PATH"
},
"mountPath": "MOUNT_PATH"
}
]
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto del progetto.LOCATION
: la località del lavoro.JOB_NAME
: il nome del job.BUCKET_PATH
: il percorso della directory del bucket a cui vuoi che acceda questo job, che deve iniziare con il nome del bucket. Ad esempio, per un bucket denominatoBUCKET_NAME
, il percorsoBUCKET_NAME
rappresenta la directory principale del bucket e il percorsoBUCKET_NAME/subdirectory
rappresenta la sottodirectorysubdirectory
.MOUNT_PATH
: il percorso di montaggio utilizzato dagli eseguibili del job per accedere a questo bucket. Il percorso deve iniziare con/mnt/disks/
seguito da una directory o da un percorso a tua scelta. Ad esempio, se vuoi rappresentare questo bucket con una directory denominatamy-bucket
, imposta il percorso di montaggio su/mnt/disks/my-bucket
.
Go
Go
Per saperne di più, consulta la documentazione di riferimento dell'API Batch Go.
Per eseguire l'autenticazione in Batch, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta la pagina Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Java
Per saperne di più, consulta la documentazione di riferimento dell'API Batch Java.
Per eseguire l'autenticazione in Batch, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta la pagina Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Node.js
Per saperne di più, consulta la documentazione di riferimento dell'API Batch Node.js.
Per eseguire l'autenticazione in Batch, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta la pagina Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Python
Per saperne di più, consulta la documentazione di riferimento dell'API Batch Python.
Per eseguire l'autenticazione in Batch, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta la pagina Configurare l'autenticazione per un ambiente di sviluppo locale.
C++
C++
Per saperne di più, consulta la documentazione di riferimento dell'API Batch C++.
Per eseguire l'autenticazione in Batch, configura le Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta la pagina Configurare l'autenticazione per un ambiente di sviluppo locale.
Utilizza un file system di rete
Puoi creare un job che utilizza un file system di rete (NFS) esistente, ad esempio una condivisione file Filestore, utilizzando la console Google Cloud, l'interfaccia a riga di comando gcloud o l'API Batch.
Prima di creare un job che utilizza un NFS, assicurati che il firewall della tua rete sia configurato correttamente per consentire il traffico tra le VM del job e l' NFS. Per ulteriori informazioni, consulta Configurazione delle regole firewall per Filestore.
L'esempio seguente descrive come creare un job che specifica e monta un NFS. Il job ha anche 3
attività, ognuna delle quali esegue uno script per creare un file nel NFS denominato
output_task_TASK_INDEX.txt
in cui TASK_INDEX
è l'indice di ogni attività:
0
, 1
e 2
.
Console
Per creare un job che utilizza un NFS mediante la console Google Cloud:
Nella console Google Cloud, vai alla pagina Elenco job.
Fai clic su
Crea. Viene visualizzata la pagina Crea job batch. Nel riquadro a sinistra, è selezionata la pagina Dettagli job.Configura la pagina Dettagli job:
(Facoltativo) Nel campo Nome job, personalizza il nome del job.
Ad esempio, inserisci
example-nfs-job
.Configura la sezione Dettagli attività:
Nella finestra Nuovo eseguibile, aggiungi almeno uno script o un container da eseguire per questo job.
Ad esempio, segui questi passaggi:
Seleziona la casella di controllo Script. Viene visualizzata una casella di testo.
Inserisci il seguente script nella casella di testo:
echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt
Sostituisci MOUNT_PATH con il percorso di montaggio utilizzato dall'esecuzione del job per accedere a questo NFS. Il percorso deve iniziare con
/mnt/disks/
seguito da una directory o da un percorso scelto da te. Ad esempio, se vuoi rappresentare questo NFS con una directory denominatamy-nfs
, imposta il percorso di montaggio su/mnt/disks/my-nfs
.Fai clic su Fine.
Nel campo Conteggio attività, inserisci il numero di attività per il job.
Ad esempio, inserisci
3
.Nel campo Parallelismo, inserisci il numero di attività da eseguire contemporaneamente.
Ad esempio, inserisci
1
(valore predefinito).
Configura la pagina Configurazioni aggiuntive:
Nel riquadro a sinistra, fai clic su Configurazioni aggiuntive. Viene visualizzata la pagina Configurazioni aggiuntive.
Per ogni bucket Cloud Storage che vuoi montare in questo job, segui questi passaggi:
Nella sezione Volume di archiviazione, fai clic su Aggiungi nuovo volume. Viene visualizzata la finestra Nuovo volume.
Nella finestra Nuovo volume, procedi nel seguente modo:
Nella sezione Tipo di volume, seleziona File system di rete.
Nel campo File server, inserisci l'indirizzo IP del server in cui si trova l'identificatore NFS specificato nell'elemento eseguibile di questo job.
Ad esempio, se l' NFS è una condivisione file di Filestore, specifica l'indirizzo IP dell'istanza Filestore, che puoi ottenere descrivendo l'istanza Filestore.
Nel campo Percorso remoto, inserisci un percorso che possa accedere all' NFS specificato nel passaggio precedente.
Il percorso della directory NFS deve iniziare con un
/
seguito dalla directory radice di NFS.Nel campo Percorso di montaggio, inserisci il percorso di montaggio per NFS (MOUNT_PATH), specificato nel passaggio precedente.
Fai clic su Fine.
(Facoltativo) Configura gli altri campi per questo job.
(Facoltativo) Per esaminare la configurazione del job, nel riquadro a sinistra, fai clic su Anteprima.
Fai clic su Crea.
Nella pagina Elenco job viene visualizzato il job che hai creato.
gcloud
Per creare un job che utilizza un NFS mediante gcloud CLI, utilizza il comando gcloud batch jobs submit
.
Nel file di configurazione JSON del job, monta l' NFS nel campo volumes
.
Crea un file JSON con i seguenti contenuti:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt" } } ], "volumes": [ { "nfs": { "server": "NFS_IP_ADDRESS", "remotePath": "NFS_PATH" }, "mountPath": "MOUNT_PATH" } ] }, "taskCount": 3 } ], "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Sostituisci quanto segue:
NFS_IP_ADDRESS
: l'indirizzo IP dell' NFS. Ad esempio, se l'NFS è una condivisione file di Filestore, specifica l'indirizzo IP dell'istanza Filestore, che puoi ottenere descrivendo l'istanza Filestore.NFS_PATH
: il percorso della directory NFS a cui vuoi che questo job acceda, che deve iniziare con/
seguito dalla directory radice di NFS. Ad esempio, per una condivisione file Filestore denominataFILE_SHARE_NAME
, il percorso/FILE_SHARE_NAME
rappresenta la directory principale della condivisione file e il percorso/FILE_SHARE_NAME/subdirectory
rappresenta la sottodirectorysubdirectory
.MOUNT_PATH
: il percorso di montaggio utilizzato dagli eseguibili del job per accedere a questo NFS. Il percorso deve iniziare con/mnt/disks/
seguito da una directory o da un percorso a tua scelta. Ad esempio, se vuoi rappresentare questo NFS con una directory denominatamy-nfs
, imposta il percorso di montaggio su/mnt/disks/my-nfs
.
Esegui questo comando:
gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Sostituisci quanto segue:
JOB_NAME
: il nome del job.LOCATION
: la località del lavoro.JSON_CONFIGURATION_FILE
: il percorso di un file JSON con i dettagli di configurazione del job.
API
Per creare un job che utilizza un NFS mediante l'API Batch, utilizza il metodo jobs.create
e monta l' NFS nel campo volumes
.
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world from task ${BATCH_TASK_INDEX}. >> MOUNT_PATH/output_task_${BATCH_TASK_INDEX}.txt"
}
}
],
"volumes": [
{
"nfs": {
"server": "NFS_IP_ADDRESS",
"remotePath": "NFS_PATH"
},
"mountPath": "MOUNT_PATH"
}
]
},
"taskCount": 3
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto del progetto.LOCATION
: la località del lavoro.JOB_NAME
: il nome del job.NFS_IP_ADDRESS
: l'indirizzo IP del file system di rete. Ad esempio, se l'NFS è una condivisione file di Filestore, specifica l'indirizzo IP dell'istanza Filestore, che puoi ottenere descrivendo l'istanza Filestore.NFS_PATH
: il percorso della directory NFS a cui vuoi che questo job acceda, che deve iniziare con/
seguito dalla directory radice di NFS. Ad esempio, per una condivisione file Filestore denominataFILE_SHARE_NAME
, il percorso/FILE_SHARE_NAME
rappresenta la directory principale della condivisione file e il percorso/FILE_SHARE_NAME/subdirectory
rappresenta una sottodirectory.MOUNT_PATH
: il percorso di montaggio utilizzato dagli eseguibili del job per accedere a questo NFS. Il percorso deve iniziare con/mnt/disks/
seguito da una directory o da un percorso a tua scelta. Ad esempio, se vuoi rappresentare questo NFS con una directory denominatamy-nfs
, imposta il percorso di montaggio su/mnt/disks/my-nfs
.
Passaggi successivi
- In caso di problemi durante la creazione o l'esecuzione di un job, consulta Risoluzione dei problemi.
- Visualizza job e attività
- Scopri di più sulle opzioni per la creazione di job.