Questo documento spiega come creare un job batch che invii notifiche Pub/Sub. Puoi utilizzare Pub/Sub per ricevere notifiche quando lo stato di un job o di un'attività cambia o quando un job o un'attività entra in uno stato specifico. Per ulteriori informazioni, consulta Monitorare i job utilizzando le notifiche.
Prima di iniziare
- Se non hai mai utilizzato Batch, consulta la guida introduttiva all'utilizzo di Batch e attivalo completando i prerequisiti per progetti e utenti.
- Crea o identifica un argomento Pub/Sub per le notifiche di Batch.
- Configura un abbonamento per ricevere e utilizzare le notifiche.
Ruoli obbligatori
-
Per ottenere le autorizzazioni necessarie per creare ed eseguire un job che invia notifiche, chiedi all'amministratore di concederti i seguenti ruoli IAM:
-
Batch Job Editor (
roles/batch.jobsEditor
) nel progetto. -
Utente dell'account di servizio (
roles/iam.serviceAccountUser
) nell'account di servizio del job, che per impostazione predefinita è l'account di servizio Compute Engine predefinito. -
Pub/Sub Editor (
roles/pubsub.editor
) nell'argomento o nel progetto Pub/Sub.
Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.
Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.
-
Batch Job Editor (
-
A meno che tu non stia utilizzando la configurazione predefinita per l'account di servizio del job, assicurati che disponga delle autorizzazioni necessarie.
Per assicurarti che l'account di servizio del job disponga delle autorizzazioni necessarie per pubblicare notifiche Pub/Sub, chiedi all'amministratore di concedere all'account di servizio del job il ruolo IAM Publisher Pub/Sub (
roles/pubsub.publisher
) per il tuo argomento Pub/Sub. - Se vuoi che un job pubblichi notifiche in un argomento Pub/Sub che appartiene a un progetto diverso, all'agente di servizio batch per il progetto del job deve essere concessa l'autorizzazione per la pubblicazione in quell'argomento.
Per assicurarti che l'agente di servizio Batch per il progetto del job abbia le autorizzazioni necessarie per pubblicare notifiche Pub/Sub in un argomento Pub/Sub di un altro progetto, chiedi all'amministratore di concedere all'agente di servizio Batch per il progetto del job il ruolo IAM Publisher Pub/Sub (
roles/pubsub.publisher
) nell'argomento Pub/Sub.
Crea ed esegui un job che invia notifiche
Per creare un job Batch che invii notifiche Pub/Sub, segui questi passaggi:
gcloud
Utilizza Google Cloud CLI per
creare un job che
includa il campo notifications
e uno o più
oggetti jobNotification
nel corpo principale del file JSON:
{
...
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
ATTRIBUTES
}
}
]
...
}
Sostituisci quanto segue:
PROJECT_ID
: l'ID del progetto che contiene l'argomento Pub/Sub.TOPIC_ID
: l'ID argomento Pub/Sub dell'argomento che hai creato quando hai attivato le notifiche Pub/Sub.ATTRIBUTES
: specifica uno o più dei seguenti attributi, ognuno dei quali ti consente di ricevere notifiche sullo stato del job o di tutte le relative attività.Per le notifiche relative a tutte le modifiche dello stato del job, specifica quanto segue:
"type": "JOB_STATE_CHANGED"
Per le notifiche relative a una modifica dello stato di un job specifico, specifica quanto segue:
"type": "JOB_STATE_CHANGED", "newJobState": "JOB_STATE"
Sostituisci
JOB_STATE
con uno dei seguenti stati del job:QUEUED
SCHEDULED
RUNNING
SUCCEEDED
FAILED
Per saperne di più sugli stati dei job, consulta la sezione Ciclo di vita dei job.
Per le notifiche relative a tutte le modifiche dello stato delle attività, specifica quanto segue:
"type": "TASK_STATE_CHANGED"
Per le notifiche relative a modifiche dello stato di attività specifiche, specifica quanto segue:
"type": "TASK_STATE_CHANGED", "newTaskState": "TASK_STATE"
Sostituisci
TASK_STATE
con uno dei seguenti stati della task:PENDING
ASSIGNED
RUNNING
SUCCEEDED
FAILED
Per saperne di più sugli stati delle attività, consulta la sezione Ciclo di vita dei job.
Ad esempio, supponiamo che tu voglia ricevere notifiche su tutte le modifiche dello stato del job e ogni volta che un'attività non va a buon fine. A tale scopo, puoi avere un file di configurazione JSON simile al seguente:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3,
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
},
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "JOB_STATE_CHANGED"
}
},
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "TASK_STATE_CHANGED",
"newTaskState": "FAILED"
}
}
]
}
API
Utilizza l'API REST per
creare un job che include il campo notifications
e uno o più
oggetti jobNotification
nel corpo principale del file JSON:
{
...
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
ATTRIBUTES
}
}
]
...
}
Sostituisci quanto segue:
PROJECT_ID
: l'ID del progetto che contiene l'argomento Pub/Sub.TOPIC_ID
: l'ID argomento Pub/Sub dell'argomento che hai creato quando hai attivato le notifiche Pub/Sub.ATTRIBUTES
: specifica uno o più dei seguenti attributi, ognuno dei quali ti consente di ricevere notifiche sullo stato del job o di tutte le relative attività.Per le notifiche relative a tutte le modifiche dello stato del job, specifica quanto segue:
"type": "JOB_STATE_CHANGED"
Per le notifiche relative a una modifica dello stato di un job specifico, specifica quanto segue:
"type": "JOB_STATE_CHANGED", "newJobState": "JOB_STATE"
Sostituisci
JOB_STATE
con uno dei seguenti stati del job:QUEUED
SCHEDULED
RUNNING
SUCCEEDED
FAILED
Per saperne di più sugli stati dei job, consulta la sezione Ciclo di vita dei job.
Per le notifiche relative a tutte le modifiche dello stato delle attività, specifica quanto segue:
"type": "TASK_STATE_CHANGED"
Per le notifiche relative a modifiche dello stato di attività specifiche, specifica quanto segue:
"type": "TASK_STATE_CHANGED", "newTaskState": "TASK_STATE"
Sostituisci
TASK_STATE
con uno dei seguenti stati della task:PENDING
ASSIGNED
RUNNING
SUCCEEDED
FAILED
Per saperne di più sugli stati delle attività, consulta la sezione Ciclo di vita dei job.
Ad esempio, supponiamo che tu voglia ricevere notifiche su tutte le modifiche dello stato del job e ogni volta che un'attività non va a buon fine. A tale scopo, puoi avere un file di configurazione JSON simile al seguente:
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3,
}
],
"logsPolicy": {
"destination": "CLOUD_LOGGING"
},
"notifications": [
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "JOB_STATE_CHANGED"
}
},
{
"pubsubTopic": "projects/PROJECT_ID/topics/TOPIC_ID",
"message": {
"type": "TASK_STATE_CHANGED",
"newTaskState": "FAILED"
}
}
]
}
Vai
Java
Node.js
Python
Una volta avviato il job, puoi utilizzare le relative notifiche. Ad esempio, se l'argomento Pub/Sub del tuo job ha una sottoscrizione che invia notifiche in streaming a BigQuery, puoi analizzare le notifiche Pub/Sub in BigQuery.
Passaggi successivi
- Scopri di più su come monitorare lo stato dei job utilizzando le notifiche Pub/Sub e BigQuery.
- Se hai problemi a creare o eseguire un job, consulta la sezione Risoluzione dei problemi.
- Visualizza job e attività.
- Scopri di più sulle opzioni di creazione dei job.