Pianificare job dipendenti

Questo documento descrive come creare ed eseguire un job non pianificato fino a quando job specifici non sono stati completati o non sono stati generati errori. Per scoprire di più sugli stati dei job, consulta la Panoramica della creazione e dell'esecuzione dei job.

Se hai un carico di lavoro con requisiti di risorse variabili, valuta la possibilità di utilizzare job dipendenti per creare una catena automatica di job che utilizzano ciascuna VM separate. Ad esempio, separa i tipi di VM utilizzati per operazioni a bassa richiesta (come la preparazione dei dati) e operazioni ad alta intensità di calcolo (come l'elaborazione dei dati). Utilizzando job dipendenti per ottimizzare il consumo delle risorse, puoi ridurre i costi e l'utilizzo della quota.

Prima di iniziare

  1. Se non hai mai utilizzato Batch, consulta la guida introduttiva all'utilizzo di Batch e attivalo completando i prerequisiti per progetti e utenti.

  2. Per ottenere le autorizzazioni necessarie per creare un job, chiedi all'amministratore di concederti i seguenti ruoli IAM:

    Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

    Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Limitazioni

I job dipendenti presentano le seguenti limitazioni:

  • Un job dipendente può avere fino a quattro dipendenze. Ogni dipendenza deve contenere un nome job univoco e uno dei seguenti stati obbligatori:

    • SUCCEEDED: riuscita
    • FAILED: non riuscita
    • FINISHED: riuscita o non riuscita

  • Quando crei un job dipendente, tutti i job di dipendenza devono esistere.

  • Un job dipendente non può entrare nello stato pianificato (SCHEDULED) finché ogni job di dipendenza non ha raggiunto lo stato richiesto. Se diventa impossibile per un job di dipendenza entrare nello stato richiesto, il job dipendente non riesce immediatamente senza essere pianificato.

Creare un job dipendente

Puoi creare un job correlato utilizzando i seguenti metodi:

Per specificare che un job è dipendente, includi il campo dependencies[].items, che supporta una o più dipendenze specificate come coppie chiave-valore, nel corpo principale del file JSON:

"dependencies": [
  {
    "items": {
      "DEPENDENCY_JOB_NAME": "REQUIRED_STATE"
    }
  }
]

Sostituisci quanto segue:

  • DEPENDENCY_JOB_NAME: il nome di un job di dipendenza, che deve raggiungere lo stato richiesto prima che questo job dipendente possa essere pianificato.

  • REQUIRED_STATE: lo stato richiesto per il compito di dipendenza corrispondente, che deve essere SUCCEEDED, FAILED o FINISHED.

Ad esempio, un job dipendente con tre dipendenze può avere un file di configurazione JSON simile al seguente:

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3
    }
  ],
  "dependencies": [
    {
      "items": {
        "DEPENDENCY_JOB_NAME_1": "REQUIRED_STATE_1",
        "DEPENDENCY_JOB_NAME_2": "REQUIRED_STATE_2",
        "DEPENDENCY_JOB_NAME_3": "REQUIRED_STATE_3"
      }
    }
  ]
}

Passaggi successivi