Automatiza los reintentos de tareas

En esta página, se describe cómo volver a intentar tareas automáticamente después de todas o algunas fallas.

Un trabajo por lotes falla cuando al menos una de sus tareas falla, lo que puede ocurrir por varios motivos. De forma predeterminada, cada tarea de un trabajo solo se ejecuta una vez. Si una tarea falla, no se vuelve a intentar. Sin embargo, algunos problemas que hacen que una tarea falle se pueden resolver fácilmente con solo volver a intentarla. En estos casos, configurar el trabajo para que vuelva a intentar las tareas automáticamente puede ayudar a reducir significativamente los problemas de solución de problemas y el tiempo de ejecución general de tus trabajos.

Los reintentos automáticos son adecuados para tareas poco acopladas (independientes) y pueden ayudar con una variedad de problemas. Por ejemplo, las reintentos automáticos de tareas pueden resolver problemas urgentes, como los siguientes:

Puedes configurar la reintentos automáticos de tareas para cada tarea cuando creas un trabajo. Específicamente, para cada tarea, puedes usar una de las siguientes opciones de configuración:

  • De forma predeterminada, no se reintenta cada tarea cuando falla.
  • Reintentar tareas para todas las fallas: Puedes configurar la cantidad máxima de veces que se deben reintentar automáticamente las tareas con errores. Puedes especificar entre 0 (predeterminado) y 10 reintentos.
  • Reintenta tareas para algunas fallas: Puedes configurar diferentes acciones de tareas, ya sea un reintento automático o una falla sin reintento, para fallas específicas. Se realiza la acción opuesta para todas las fallas no especificadas. Cada falla específica se puede identificar mediante un código de salida que define tu aplicación o lote.

Antes de comenzar

  1. Si nunca usaste Batch, consulta Cómo comenzar a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.

  2. Para obtener los permisos que necesitas para crear un trabajo, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

    También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Cómo reintentar tareas para todas las fallas

Puedes definir la cantidad máxima de reintentos automáticos (campo maxRetryCount) para las tareas fallidas de un trabajo con la CLI de gcloud o la API de Batch.

gcloud

  1. Crea un archivo JSON que especifique los detalles de configuración del trabajo y el campo maxRetryCount.

    Por ejemplo, para crear una tarea de secuencia de comandos básica que especifique la cantidad máxima de reintentos para las tareas que fallan, crea un archivo JSON con el siguiente contenido:

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello world from task ${BATCH_TASK_INDEX}"
            }
          }
        ],
        
        "maxRetryCount": MAX_RETRY_COUNT
        
      },
      "taskCount": 3
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

    Reemplaza MAX_RETRY_COUNT por la cantidad máxima de reintentos para cada tarea. Para que un trabajo pueda volver a intentar tareas fallidas, este valor debe establecerse en un número entero entre 1 y 10. Si no se especifica el campo maxRetryCount, el valor predeterminado es 0, lo que significa que no se volverá a intentar ninguna tarea.

  2. Para crear y ejecutar la tarea, usa el comando gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE

    Reemplaza lo siguiente:

    • JOB_NAME: Es el nombre del trabajo.

    • LOCATION: Es la ubicación del trabajo.

    • JSON_CONFIGURATION_FILE: Es la ruta de acceso a un archivo JSON con los detalles de configuración de la tarea.

API

Realiza una solicitud POST al método jobs.create que especifique el campo maxRetryCount.

Por ejemplo, para crear un trabajo de secuencia de comandos básico que especifique la cantidad máxima de reintentos para las tareas que fallaron, realiza la siguiente solicitud:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello world from task ${BATCH_TASK_INDEX}"
            }
          }
        ],
        
        "maxRetryCount": MAX_RETRY_COUNT
        
      },
      "taskCount": 3
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de tu proyecto.

  • LOCATION: Es la ubicación del trabajo.

  • JOB_NAME: Es el nombre del trabajo.

  • MAX_RETRY_COUNT: Es la cantidad máxima de reintentos para cada tarea. Para que un trabajo pueda volver a intentar tareas fallidas, este valor debe establecerse en un número entero entre 1 y 10. Si no se especifica el campo maxRetryCount, el valor predeterminado es 0, lo que significa que no se volverá a intentar ninguna tarea.

Cómo reintentar tareas para algunas fallas

Puedes definir cómo deseas que una tarea controle diferentes fallas mediante políticas de ciclo de vida (campo lifecyclePolicies[]).

Una política de ciclo de vida consta de una acción (campo action), condición de acción (campo actionCondition) y código de salida (campo exitCodes[]). La acción especificada se realiza cada vez que se produce la condición de acción (un código de salida específico). Puedes especificar una de las siguientes acciones:

  • RETRY_TASK: Vuelve a intentar las tareas que fallan con los códigos de salida especificados en el campo exitCodes[]. No se vuelven a intentar las tareas que fallan con códigos de salida no especificados.
  • FAIL_TASK: No vuelvas a intentar las tareas que fallan con los códigos de salida especificados en el campo exitCodes[]. Se volverán a intentar las tareas que fallan con códigos de salida no especificados.

En particular, las tareas que fallan con códigos de salida no especificados realizan la acción opuesta: algunos códigos de salida se vuelven a intentar y otros fallan. Por lo tanto, para que la política de ciclo de vida funcione como se espera, también debes definir la cantidad máxima de reintentos automáticos (campo maxRetryCount) para permitir que la tarea reintente automáticamente las tareas fallidas al menos una vez.

Cada código de salida representa una falla específica que define tu aplicación o Batch. Los códigos de salida del 50001 al 59999 están reservados y definidos por Batch. Para obtener más información sobre los códigos de salida reservados, consulta Soluciona problemas.

Puedes especificar que un trabajo vuelva a intentar tareas o las falle después de fallas específicas con la CLI de gcloud o la API de Batch.

gcloud

  1. Crea un archivo JSON que especifique los detalles de configuración del trabajo, el campo maxRetryCount y los subcampos lifecyclePolicies[].

    Para crear un trabajo de secuencia de comandos básico que vuelva a intentar las tareas fallidas solo para algunos códigos de salida, crea un archivo JSON con el siguiente contenido:

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello world from task ${BATCH_TASK_INDEX}"
            }
          }
        ],
        
        "maxRetryCount": MAX_RETRY_COUNT,
        "lifecyclePolicies": [
          {
            "action": "ACTION",
            "actionCondition": {
               "exitCodes": [EXIT_CODES]
            }
          }
        ]
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

    Reemplaza lo siguiente:

    • MAX_RETRY_COUNT: Es la cantidad máxima de reintentos para cada tarea. Para que un trabajo pueda volver a intentar tareas fallidas, este valor debe establecerse en un número entero entre 1 y 10. Si no se especifica el campo maxRetryCount, el valor predeterminado es 0, lo que significa que no se volverá a intentar ninguna tarea.

    • ACTION: Es la acción, RETRY_TASK o FAIL_TASK, que deseas para las tareas que fallan con los códigos de salida especificados. Las tareas que fallan con códigos de salida no especificados realizan la otra acción.

    • EXIT_CODES: Es una lista separada por comas de uno o más códigos de salida con los que deseas activar la acción especificada, por ejemplo, 50001, 50002.

      Tu aplicación o el comando por lotes pueden definir cada código de salida. Batch reserva los códigos de salida de 50001 a 59999. Para obtener más información sobre los códigos de salida reservados, consulta Soluciona problemas.

    Por ejemplo, el siguiente trabajo solo vuelve a intentar las tareas que fallan debido a la preempción de las VMs Spot.

    {
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "sleep 30"
            }
          }
        ],
        "maxRetryCount": 3,
        "lifecyclePolicies": [
          {
             "action": "RETRY_TASK",
             "actionCondition": {
               "exitCodes": [50001]
            }
          }
        ]
      }
    }
  ],
  "allocationPolicy": {
    "instances": [
      {
        "policy": {
          "machineType": "e2-standard-4",
          "provisioningModel": "SPOT"
        }
      }
    ]
  }
}

  2. Para crear y ejecutar la tarea, usa el comando gcloud batch jobs submit:

    gcloud batch jobs submit JOB_NAME \
  --location LOCATION \
  --config JSON_CONFIGURATION_FILE

    Reemplaza lo siguiente:

    • JOB_NAME: Es el nombre del trabajo.

    • LOCATION: Es la ubicación del trabajo.

    • JSON_CONFIGURATION_FILE: Es la ruta de acceso a un archivo JSON con los detalles de configuración de la tarea.

API

Realiza una solicitud POST al método jobs.create que especifique el campo maxRetryCount y los subcampos lifecyclePolicies[].

Para crear un trabajo de secuencia de comandos básico que vuelva a intentar las tareas fallidas solo para algunos códigos de salida, realiza la siguiente solicitud:

POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello world from task ${BATCH_TASK_INDEX}"
            }
          }
        ],
        
        "maxRetryCount": MAX_RETRY_COUNT,
        "lifecyclePolicies": [
          {
            "action": "ACTION",
            "actionCondition": {
                "exitCodes": [EXIT_CODES]
            }
          }
        ]
      }
    }
  ],
  "logsPolicy": {
    "destination": "CLOUD_LOGGING"
  }
}

Reemplaza lo siguiente:

  • PROJECT_ID: Es el ID del proyecto de tu proyecto.

  • LOCATION: Es la ubicación del trabajo.

  • JOB_NAME: Es el nombre del trabajo.

  • MAX_RETRY_COUNT: Es la cantidad máxima de reintentos para cada tarea. Para que un trabajo pueda volver a intentar tareas fallidas, este valor debe establecerse en un número entero entre 1 y 10. Si no se especifica el campo maxRetryCount, el valor predeterminado es 0, lo que significa que no se volverá a intentar ninguna tarea.

  • ACTION: Es la acción, RETRY_TASK o FAIL_TASK, que deseas para las tareas que fallan con los códigos de salida especificados. Las tareas que fallan con códigos de salida no especificados realizan la otra acción.

  • EXIT_CODES: Es una lista separada por comas de uno o más códigos de salida con los que deseas activar la acción especificada, por ejemplo, 50001, 50002.

    Tu aplicación o el comando por lotes pueden definir cada código de salida. Batch reserva los códigos de salida de 50001 a 59999. Para obtener más información sobre los códigos de salida reservados, consulta Soluciona problemas.

Por ejemplo, el siguiente trabajo solo vuelve a intentar las tareas que fallan debido a la usurpación de las VMs Spot.

POST https://batch.googleapis.com/v1/projects/example-project/locations/us-central1/jobs?job_id=example-job

{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "sleep 30"
            }
          }
        ],
        "maxRetryCount": 3,
        "lifecyclePolicies": [
          {
             "action": "RETRY_TASK",
             "actionCondition": {
               "exitCodes": [50001]
            }
          }
        ]
      }
    }
  ],
  "allocationPolicy": {
    "instances": [
      {
        "policy": {
          "machineType": "e2-standard-4",
          "provisioningModel": "SPOT"
        }
      }
    ]
  }
}

Modifica el comportamiento de la tarea según la cantidad de reintentos

De manera opcional, después de habilitar las reintentos automáticos para una tarea, como se describe en las secciones anteriores de esta página, puedes actualizar tus ejecutables para que usen la variable de entorno predefinida BATCH_TASK_RETRY_ATTEMPT. La variable BATCH_TASK_RETRY_ATTEMPT describe la cantidad de veces que ya se intentó esta tarea. Usa la variable BATCH_TASK_RETRY_ATTEMPT en tus elementos ejecutables si deseas que una tarea se comporte de manera diferente según la cantidad de reintentos. Por ejemplo, cuando se vuelve a intentar una tarea, es posible que desees confirmar qué comandos ya se ejecutaron correctamente en el intento anterior. Para obtener más información, consulta Variables de entorno predefinidas.

¿Qué sigue?