Batch è un servizio completamente gestito che consente di pianificare, inserire in coda ed eseguire carichi di lavoro di elaborazione batch su istanze di macchine virtuali (VM) Compute Engine. Batch esegue il provisioning delle risorse e gestisce la capacità per tuo conto, consentendo l'esecuzione dei carichi di lavoro batch su larga scala.
Workflows ti consente di eseguire i servizi di cui hai bisogno in un ordine definito da te utilizzando la sintassi di Workflows.
In questo tutorial utilizzerai il connettore Workflows per Batch per pianificare ed eseguire un job Batch che esegue sei attività in parallelo su due VM Compute Engine. L'utilizzo sia di Batch sia di Workflows consente di combinare i vantaggi che offrono e di eseguire il provisioning e l'orchestrazione dell'intero processo in modo efficiente.
Obiettivi
In questo tutorial, imparerai a:- Crea un repository Artifact Registry per un'immagine container Docker.
- Recupera il codice per il carico di lavoro di elaborazione batch da GitHub: un programma di esempio che genera numeri primi in batch di 10.000.
- Crea l'immagine Docker per il carico di lavoro.
- Esegui il deployment ed esegui un flusso di lavoro che:
- Crea un bucket Cloud Storage per archiviare i risultati del generatore di numeri primi.
- Pianifica ed esegue un job batch che esegue il contenitore Docker come sei attività in parallelo su due VM Compute Engine.
- Se vuoi, elimina il job batch al termine.
- Verifica che i risultati siano quelli previsti e che i batch di numeri primi generati siano archiviati in Cloud Storage.
Puoi eseguire la maggior parte dei comandi seguenti nella console Google Cloud o eseguire tutti i comandi utilizzando l'interfaccia a Google Cloud CLI nel terminale o in Cloud Shell.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il Calcolatore prezzi.
Prima di iniziare
I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.
Console
Nella console Google Cloud, nella pagina di selezione del progetto, seleziona o crea un progetto Google Cloud.
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud. Scopri come controllare se la fatturazione è attivata in un progetto.
Abilita le API Artifact Registry, Batch, Cloud Build, Compute Engine, Workflow Executions e Workflows.
Crea un account di servizio da utilizzare per l'autenticazione con altri servizi Google Cloud e assegna i ruoli appropriati:
Nella console Google Cloud, vai alla pagina Crea account di servizio.
Seleziona il progetto.
Inserisci un nome nel campo Nome account di servizio. La console Google Cloud compila il campo ID account di servizio in base a questo nome.
Nel campo Descrizione account di servizio, inserisci una descrizione. Ad esempio,
Service account for tutorial
.Fai clic su Crea e continua.
Nell'elenco Seleziona un ruolo, filtra in base ai seguenti ruoli da concedere all'account di servizio gestito dall'utente che hai creato nel passaggio precedente:
- Editor di job batch: per modificare i job batch.
- Logs Writer: per scrivere i log.
- Amministratore dello spazio di archiviazione: per controllare le risorse di Cloud Storage.
Per altri ruoli, fai clic su
Aggiungi un altro ruolo e aggiungi ogni ruolo aggiuntivo.Fai clic su Continua.
Per completare la creazione dell'account, fai clic su Fine.
Concedi il ruolo Utente account di servizio IAM all'account di servizio predefinito all'account di servizio gestito dall'utente creato nel passaggio precedente. Dopo aver attivato l'API Compute Engine, l'account di servizio predefinito è l'account di servizio Compute Engine predefinito (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
) e l'autorizzazione viene in genere assegnata tramite il ruoloroles/iam.serviceAccountUser
.Nella pagina Account di servizio, fai clic sull'indirizzo email dell'account di servizio predefinito (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
).Fai clic sulla scheda Autorizzazioni.
Fai clic sul pulsante
Concedi accesso.Per aggiungere un nuovo principale, inserisci l'indirizzo email del tuo account di servizio (
SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
).Nell'elenco Seleziona un ruolo, seleziona il ruolo Account di servizio > Utente account di servizio.
Fai clic su Salva.
gcloud
In the Google Cloud console, activate Cloud Shell.
At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.
Verifica che la fatturazione sia attivata per il tuo progetto Google Cloud. Scopri come controllare se la fatturazione è attivata in un progetto.
Abilita le API Artifact Registry, Batch, Cloud Build, Compute Engine Workflow Executions e Workflows.
gcloud services enable artifactregistry.googleapis.com \ batch.googleapis.com \ cloudbuild.googleapis.com \ compute.googleapis.com \ workflowexecutions.googleapis.com \ workflows.googleapis.com
Crea un account di servizio da utilizzare per l'autenticazione con altri servizi Google Cloud e concedi i ruoli appropriati.
Crea l'account di servizio:
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
Sostituisci
SERVICE_ACCOUNT_NAME
con un nome per l'account di servizio.Concedi i ruoli all'account di servizio gestito dall'utente che hai creato nel passaggio precedente. Esegui il seguente comando una volta per ciascuno dei seguenti ruoli IAM:
roles/batch.jobsEditor
: per modificare i job batch.roles/logging.logWriter
: per scrivere i log.roles/storage.admin
: per controllare le risorse di Cloud Storage.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --role=ROLE
Sostituisci quanto segue:
PROJECT_ID
: l'ID progetto in cui hai creato l'account di servizioROLE
: il ruolo da concedere
Concedi il ruolo Utente account di servizio IAM nell'account di servizio predefinito all'account di servizio gestito dall'utente che hai creato nel passaggio precedente. Dopo aver attivato l'API Compute Engine, l'account di servizio predefinito è l'account di servizio Compute Engine predefinito (
PROJECT_NUMBER-compute@developer.gserviceaccount.com
) e l'autorizzazione viene in genere assegnata tramite il ruoloroles/iam.serviceAccountUser
.PROJECT_NUMBER=$(gcloud projects describe PROJECT_ID --format='value(projectNumber)') gcloud iam service-accounts add-iam-policy-binding \ $PROJECT_NUMBER-compute@developer.gserviceaccount.com \ --member=serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com \ --role=roles/iam.serviceAccountUser
Crea un repository Artifact Registry
Crea un repository in cui archiviare l'immagine del container Docker.
Console
Nella console Google Cloud, vai alla pagina Repositori.
Fai clic su
Crea repository.Inserisci containers come nome del repository.
Per Formato, scegli Docker.
Per Tipo di località, scegli Regione.
Nell'elenco Regione, seleziona us-central1.
Fai clic su Crea.
gcloud
Esegui questo comando:
gcloud artifacts repositories create containers \
--repository-format=docker \
--location=us-central1
Hai creato un repository Artifact Registry denominato containers
nella regione us-central1
. Per ulteriori informazioni sulle regioni supportate, consulta
Località di Artifact Registry.
Ottieni gli esempi di codice
Google Cloud archivia il codice sorgente dell'applicazione per questo tutorial su GitHub. Puoi clonare il repository o scaricare gli esempi.
Clona il repository dell'app di esempio sulla tua macchina locale:
git clone https://github.com/GoogleCloudPlatform/batch-samples.git
In alternativa, puoi scaricare i sample nel file
main.zip
ed estrarli.Passa alla directory che contiene il codice di esempio:
cd batch-samples/primegen
Ora hai il codice sorgente dell'applicazione nel tuo ambiente di sviluppo.
Crea l'immagine Docker utilizzando Cloud Build
Dockerfile
contiene le informazioni necessarie per creare un'immagine Docker
utilizzando Cloud Build. Esegui il seguente comando per compilarlo:
gcloud builds submit \
-t us-central1-docker.pkg.dev/PROJECT_ID/containers/primegen-service:v1 PrimeGenService/
Sostituisci PROJECT_ID
con il tuo ID progetto Google Cloud.
Al termine della compilazione, dovresti vedere un output simile al seguente:
DONE
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
ID: a54818cc-5d14-467b-bfda-5fc9590af68c
CREATE_TIME: 2022-07-29T01:48:50+00:00
DURATION: 48S
SOURCE: gs://project-name_cloudbuild/source/1659059329.705219-17aee3a424a94679937a7200fab15bcf.tgz
IMAGES: us-central1-docker.pkg.dev/project-name/containers/primegen-service:v1
STATUS: SUCCESS
Utilizzando un Dockerfile, hai creato un'immagine Docker denominata primegen-service
e ne hai eseguito il push in un repository Artifact Registry denominato containers
.
Esegui il deployment di un flusso di lavoro che pianifica ed esegue un job Batch
Il seguente flusso di lavoro pianifica ed esegue un job Batch che gestisce un contenitore Docker come sei attività in parallelo su due VM Compute Engine. Il risultato è la generazione di sei batch di numeri primi, archiviati in un bucket Cloud Storage.
Console
Nella console Google Cloud, vai alla pagina Flussi di lavoro.
Fai clic su
Crea.Inserisci un nome per il nuovo flusso di lavoro, ad esempio
batch-workflow
.Nell'elenco Regione, seleziona us-central1.
Seleziona l'account di servizio che hai creato in precedenza.
Fai clic su Avanti.
Nell'editor del flusso di lavoro, inserisci la seguente definizione per il flusso di lavoro:
YAML
JSON
Fai clic su Esegui il deployment.
gcloud
Crea un file di codice sorgente per il tuo flusso di lavoro:
touch batch-workflow.JSON_OR_YAML
Sostituisci
JSON_OR_YAML
conyaml
ojson
a seconda del formato del flusso di lavoro.In un editor di testo, copia il seguente flusso di lavoro nel file di codice sorgente:
YAML
JSON
Esegui il deployment del flusso di lavoro inserendo il seguente comando:
gcloud workflows deploy batch-workflow \ --source=batch-workflow.yaml \ --location=us-central1 \ --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com
Sostituisci
SERVICE_ACCOUNT_NAME
con il nome dell'account di servizio creato in precedenza.
Esegui il flusso di lavoro
L'esecuzione di un flusso di lavoro esegue la definizione attuale del flusso di lavoro associata al flusso di lavoro.
Console
Nella console Google Cloud, vai alla pagina Flussi di lavoro.
Nella pagina Flussi di lavoro, fai clic sul flusso di lavoro batch-workflow per accedere alla relativa pagina dei dettagli.
Nella pagina Dettagli flusso di lavoro, fai clic su play_arrow Esegui.
Fai di nuovo clic su Esegui.
L'esecuzione del flusso di lavoro dovrebbe richiedere alcuni minuti.
Visualizza i risultati del flusso di lavoro nel riquadro Output.
I risultati dovrebbero essere simili ai seguenti:
{ "bucket": "project-name-job-primegen-TIMESTAMP", "jobId": "job-primegen-TIMESTAMP" }
gcloud
Esegui il flusso di lavoro:
gcloud workflows run batch-workflow \ --location=us-central1
L'esecuzione del flusso di lavoro dovrebbe richiedere alcuni minuti.
Per ottenere lo stato dell'ultima esecuzione completata, esegui il seguente comando:
gcloud workflows executions describe-last
I risultati dovrebbero essere simili ai seguenti:
name: projects/PROJECT_NUMBER/locations/us-central1/workflows/batch-workflow/executions/EXECUTION_ID result: '{"bucket":"project-name-job-primegen-TIMESTAMP","jobId":"job-primegen-TIMESTAMP"}' startTime: '2022-07-29T16:08:39.725306421Z' state: SUCCEEDED status: currentSteps: - routine: main step: returnResult workflowRevisionId: 000001-9ba
Elenca gli oggetti nel bucket di output
Puoi verificare che i risultati siano quelli previsti elencando gli oggetti nel bucket di output Cloud Storage.
Console
- Nella console Google Cloud, vai alla pagina Bucket in Cloud Storage.
Nell'elenco dei bucket, fai clic sul nome del bucket di cui vuoi visualizzare i contenuti.
I risultati dovrebbero essere simili al seguente, con sei file in totale, ciascuno contenente un batch di 10.000 numeri primi:
primes-1-10000.txt primes-10001-20000.txt primes-20001-30000.txt primes-30001-40000.txt primes-40001-50000.txt primes-50001-60000.txt
gcloud
Recupera il nome del bucket di output:
gcloud storage ls
L'output è simile al seguente:
gs://PROJECT_ID-job-primegen-TIMESTAMP/
Elenca gli oggetti nel bucket di output:
gcloud storage ls gs://PROJECT_ID-job-primegen-TIMESTAMP/** --recursive
Sostituisci
TIMESTAMP
con il timestamp restituito dal comando precedente.L'output dovrebbe essere simile al seguente, con sei file in totale, ciascuno contenente un batch di 10.000 numeri primi:
gs://project-name-job-primegen-TIMESTAMP/primes-1-10000.txt gs://project-name-job-primegen-TIMESTAMP/primes-10001-20000.txt gs://project-name-job-primegen-TIMESTAMP/primes-20001-30000.txt gs://project-name-job-primegen-TIMESTAMP/primes-30001-40000.txt gs://project-name-job-primegen-TIMESTAMP/primes-40001-50000.txt gs://project-name-job-primegen-TIMESTAMP/primes-50001-60000.txt
Esegui la pulizia
Se hai creato un nuovo progetto per questo tutorial, eliminalo. Se hai utilizzato un progetto esistente e vuoi conservarlo senza le modifiche aggiunte in questo tutorial, elimina le risorse create per il tutorial.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.
Per eliminare il progetto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Eliminare le risorse create in questo tutorial
Elimina il job batch:
Per prima cosa, recupera il nome del job:
gcloud batch jobs list --location=us-central1
L'output dovrebbe essere simile al seguente:
NAME: projects/project-name/locations/us-central1/jobs/job-primegen-TIMESTAMP STATE: SUCCEEDED
Dove
job-primegen-TIMESTAMP
è il nome del job batch.Elimina il job:
gcloud batch jobs delete BATCH_JOB_NAME --location us-central1
Elimina il flusso di lavoro:
gcloud workflows delete WORKFLOW_NAME
Elimina il repository del contenitore:
gcloud artifacts repositories delete REPOSITORY_NAME --location=us-central1
Cloud Build utilizza Cloud Storage per archiviare le risorse di compilazione. Per eliminare un bucket Cloud Storage, consulta Eliminare i bucket.