Solución de problemas

En esta página, se muestra cómo resolver problemas con Batch.

Si intentas solucionar un problema de un trabajo para el que no tienes un mensaje de error, consulta los eventos de estado para comprobar si el historial del trabajo contiene algún mensaje de error antes de revisar este documento.

Para obtener más información sobre cómo solucionar problemas de un trabajo, consulta los siguientes documentos:

Errores de creación de trabajos

Si no puedes crear un trabajo, es posible que se deba a uno de los errores de esta sección.

Cuota insuficiente

Problema

Cuando intentas crear un trabajo, ocurre uno de los siguientes problemas:

  • Cuando el trabajo está en el estado QUEUED, aparece el siguiente problema en el campo statusEvents:

    Quota checking process decides to delay scheduling for the job JOB_UID due to inadequate quotas [Quota: QUOTA_NAME, limit: QUOTA_LIMIT, usage: QUOTA_CURRENT_USAGE, wanted: WANTED_QUOTA.].

    Este problema indica que la tarea se retrasó porque el uso actual (QUOTA_USAGE) y el límite (QUOTA_LIMIT) de la cuota de QUOTA_NAME impidieron el uso solicitado de la tarea (WANT_QUOTA).

  • Cuando el trabajo está en los estados QUEUED, SCHEDULED o FAILED, aparece uno de los siguientes problemas en el campo statusEvents:

    RESOURCE_NAME creation failed:
Quota QUOTA_NAME exceeded. Limit: QUOTA_LIMIT in region REGION

    RESOURCE_NAME creation failed:
Quota QUOTA_NAME exceeded. Limit: QUOTA_LIMIT in zone ZONE

    Este problema indica que no se pudo crear un recurso porque la solicitud superó tu cuota de QUOTA_NAME, que tiene un límite de QUOTA_LIMIT en la ubicación especificada.

Solución

Para solucionar el problema, haz lo siguiente:

  • Si se retrasó la tarea, espera a que se libere más cuota.

  • Si la tarea falló debido a una cuota insuficiente o si estos retrasos persisten, intenta evitar la cuota insuficiente haciendo lo siguiente:

    • Crea trabajos que usen menos de esa cuota o una cuota diferente. Por ejemplo, especifica una ubicación o un tipo de recurso permitidos diferentes para la tarea, o bien divide el uso de tu cuota en proyectos adicionales.

    • Solicita un límite de cuota más alto para tu proyecto desde Google Cloud.

Para obtener más información, consulta Cuotas y límites de lotes y Trabaja con cuotas.

No tienes permisos suficientes para actuar como la cuenta de servicio.

Problema

El siguiente problema ocurre cuando intentas crear un trabajo:

  • Si el trabajo no usa una plantilla de instancias, el problema aparece de la siguiente manera:

    caller does not have access to act as the specified service account: SERVICE_ACCOUNT_NAME

  • Si la tarea usa una plantilla de instancia, el problema aparece de la siguiente manera:

    Error: code - CODE_SERVICE_ACCOUNT_MISMATCH, description - The service account specified in the instance template INSTANCE_TEMPLATE_SERVICE_ACCOUNT doesn't match the service account specified in the job JOB_SERVICE_ACCOUNT for JOB_UID, project PROJECT_NUMBER

Por lo general, este problema ocurre porque el usuario que crea la tarea no tiene permisos suficientes para actuar como la cuenta de servicio que usa la tarea, que está controlada por el permiso iam.serviceAccounts.actAs.

Solución

Para solucionar el problema, haz lo siguiente:

  1. Si la tarea usa una plantilla de instancia, verifica que la cuenta de servicio especificada en la plantilla de instancia coincida con la cuenta de servicio especificada en la definición de la tarea.
  2. Asegúrate de que el usuario que crea la tarea tenga el rol de usuario de cuenta de servicio (roles/iam.serviceAccountUser) en la cuenta de servicio especificada para la tarea. Para obtener más información, consulta Administra el acceso.
  3. Vuelve a crear el trabajo.

Redes repetidas

Problema

El siguiente problema ocurre cuando intentas crear un trabajo:

Networks must be distinct for NICs in the same InstanceTemplate

Este problema se produce porque especificaste la red para un trabajo más de una vez.

Solución

Para resolver el problema, vuelve a crear la tarea y especifica la red con una de las siguientes opciones:

Para obtener más información, consulta Especifica la red de un trabajo.

Red no válida para los Controles del servicio de VPC

Problema

El siguiente problema ocurre cuando intentas crear un trabajo:

no_external_ip_address field is invalid. VPC Service Controls is enabled for the project, so external ip address must be disabled for the job. Please set no_external_ip_address field to be true

Solución

Este problema se produce porque intentas crear y ejecutar una tarea con VMs que tienen direcciones IP externas en un perímetro de servicio de Controles del servicio de VPC.

Para resolver el problema, crea una tarea que bloquee el acceso externo de todas las VMs.

Para obtener más información sobre cómo configurar la red para un trabajo en un perímetro de servicio de los Controles del servicio de VPC, consulta Cómo usar los Controles del servicio de VPC con Batch.

Problemas y errores de trabajo

Si tienes problemas con un trabajo que no se ejecuta correctamente o falla por motivos poco claros, es posible que se deba a uno de los errores de esta sección o a uno de los códigos de salida de la siguiente sección Códigos de salida de fallas de tareas.

No hay registros en Cloud Logging

Problema

Debes depurar un trabajo, pero no aparecen registros del trabajo en Cloud Logging.

Este problema suele ocurrir por los siguientes motivos:

  • La API de Cloud Logging no está habilitada para tu proyecto. Incluso si configuras correctamente todo lo demás para los registros de una tarea, no se generarán registros si el servicio no está habilitado para tu proyecto.
  • La cuenta de servicio del trabajo no tiene permiso para escribir registros. Un trabajo no puede producir registros sin permisos suficientes.
  • El trabajo no se configuró para generar registros. Para generar registros en Cloud Logging, un trabajo debe tener habilitado Cloud Logging. Los elementos ejecutables del trabajo también deben configurarse para escribir cualquier información que desees que aparezca en los registros en las transmisiones de salida estándar (stdout) y error estándar (stderr). Para obtener más información, consulta Cómo analizar un trabajo con registros.
  • No se ejecutaron las tareas. No se pueden generar registros hasta que se asignan recursos a las tareas y estas comienzan a ejecutarse.
  • Cloud Logging se configuró para excluir automáticamente los registros del trabajo. Los registros de los trabajos por lotes no pueden aparecer si configuraste filtros de exclusión para Cloud Logging que hacen que se excluyan los registros de los trabajos por lotes.

Solución

Para solucionar este problema, haz lo siguiente:

  1. Para asegurarte de que los registros no se hayan excluido automáticamente de Cloud Logging, inhabilita los filtros de exclusión de Cloud Logging actuales.
  2. Asegúrate de que la API de Cloud Logging esté habilitada para tu proyecto.
  3. Asegúrate de que la cuenta de servicio del trabajo tenga el rol de IAM de Escritor de registros (roles/logging.logWriter). Para obtener más información, consulta Habilita Batch para un proyecto.
  4. Consulta los detalles del trabajo con gcloud CLI o la API de Batch. Los detalles del trabajo pueden ayudarte a comprender por qué no produjo registros y pueden proporcionar información que esperabas obtener de ellos. Por ejemplo, haz lo siguiente:
    1. Para verificar que el registro esté habilitado, revisa el campo logsPolicy del trabajo.
    2. Para verificar que el trabajo se haya ejecutado correctamente, revisa el campo status del trabajo.

Después de realizar los cambios, vuelve a crear la tarea y espera a que termine de ejecutarse antes de buscar registros.

No hay informes del agente de servicio

Problema

El siguiente problema aparece en el campo statusEvents para un trabajo que no se ejecuta correctamente o que falló antes de que se crearan las VMs:

No VM has agent reporting correctly within time window NUMBER_OF_SECONDS seconds, VM state for instance VM_NAME is TIMESTAMP,agent,start

El problema indica que ninguna de las VMs de un trabajo informa al agente de servicio por lotes.

Este problema suele ocurrir por los siguientes motivos:

  • Las VMs de la tarea no tienen permisos suficientes. Las VMs de un trabajo requieren permisos específicos para informar su estado al agente de servicio de Batch. Para proporcionar estos permisos a las VMs de una tarea, otorga el rol de informador del agente por lotes (roles/batch.agentReporter) a la cuenta de servicio de la tarea.
  • Las VMs del trabajo tienen problemas de red. Las VMs de un trabajo requieren acceso a la red para comunicarse con el agente de servicio de Batch.
  • Las VMs del trabajo usan una imagen de SO de VM de Batch desactualizada o una imagen de SO de VM con software de agente de servicio de Batch desactualizado. Las VMs del trabajo requieren software en su imagen del SO de VM que proporcione las dependencias actuales para informar al agente de servicio de lotes.

Solución

Para solucionar el problema, haz lo siguiente:

  1. Verifica que las VMs de la tarea tengan los permisos necesarios para informar su estado al agente de servicio de Batch.

    1. Para identificar la cuenta de servicio del trabajo, consulta los detalles del trabajo con la CLI de gcloud o la API de Batch. Si no se muestra ninguna cuenta de servicio, el trabajo usa la cuenta de servicio predeterminada de Compute Engine.

    2. Confirma que la cuenta de servicio del trabajo tenga permisos para el rol de informante del agente por lotes (roles/batch.agentReporter). Para obtener más información, consulta Administra el acceso y Cómo restringir el uso de cuentas de servicio.

      Por ejemplo, para otorgar a la cuenta de servicio predeterminada de Compute Engine los permisos necesarios, usa el siguiente comando:

      gcloud projects add-iam-policy-binding PROJECT_ID \
  --role roles/batch.agentReporter \
  --member serviceAccount:PROJECT_NUMBER-compute@developer.gserviceaccount.com

  2. Verifica que las VMs del trabajo tengan acceso de red adecuado. Para obtener más información, consulta Descripción general de las redes de lotes y Soluciona problemas de redes comunes.

  3. Si especificaste la imagen del SO de la VM para la tarea, verifica que la imagen del SO de la VM sea compatible actualmente.

    1. Si habilitaste Cloud Logging para el trabajo, puedes identificar este problema si buscas cualquiera de los siguientes registros del agente (batch_agent_logs). Para obtener más información, consulta Cómo analizar un trabajo con registros.

      • Registro del error de software del agente de servicio de Batch desactualizado:

        rpc error: code = FailedPrecondition, desc = Invalid resource state for BATCH_AGENT_VERSION: outdated Batch agent version used.

        BATCH_AGENT_VERSION es la versión de software para comunicarse con el agente de servicio por lotes que usa el trabajo, por ejemplo, cloud-batch-agent_20221103.00_p00.

      • Registro del error de imagen del SO de la VM por lotes desactualizada:

        rpc error: code = FailedPrecondition, desc = Invalid resource state for BATCH_VM_OS_IMAGE_NAME: outdated Batch image version.

        BATCH_VM_OS_IMAGE_NAME es la versión específica de una imagen del SO de VM de Batch que usa la tarea, por ejemplo, batch-debian-11-20220909-00-p00.

    2. Para resolver este problema, usa una imagen de SO de VM más reciente. Si el trabajo usa una imagen personalizada, vuelve a crearla según una de las versiones más recientes de una imagen pública compatible.

      Para obtener más información, consulta Imágenes del SO de VM compatibles y Cómo ver imágenes del SO de VM.

  4. Vuelve a crear el trabajo.

Faltan métricas de recursos en Cloud Monitoring

Problema

Quieres ver las métricas de recursos de un trabajo, pero faltan algunas o todas las métricas esperadas.

Este problema suele ocurrir por los siguientes motivos:

  • La API no estaba habilitada para tu proyecto. Incluso si configuras correctamente todo lo demás en tu proyecto, es posible que las métricas de los recursos no aparezcan hasta que se habilite la API de Cloud Monitoring. En el caso del agente de operaciones, también debes habilitar la API de Cloud Logging.
  • No tienes los permisos suficientes para ver las métricas. No puedes ver las métricas sin los permisos necesarios.
  • No se ejecutaron las VMs del trabajo. No se pueden generar métricas para un trabajo hasta que se esté ejecutando al menos una de las VMs del trabajo.
  • La configuración o los permisos de la tarea no admitían las métricas del Agente de operaciones. Solo el agente de operaciones puede proporcionar algunas métricas de recursos. Para admitir las métricas del Agente de operaciones, una tarea debe cumplir con los requisitos del Agente de operaciones, instalarlo y usar una cuenta de servicio que pueda escribir métricas en la supervisión.
  • Debes usar un método o filtro diferente para ver las métricas. Algunos métodos para ver las métricas no muestran las métricas de las VMs después de que estas se borran. Además, las métricas no aparecerán si los filtros o el período que se muestra las omiten. Además, los gráficos de métricas tienen resoluciones ajustables que pueden hacer que pequeñas cantidades de datos sean demasiado escasas para mostrarse.
  • Se borraron las métricas. No puedes ver las métricas después de que se borran, lo que sucede automáticamente después de los períodos de retención de Monitoring.

Solución

Si solo faltan las métricas del Agente de operaciones, primero intenta resolver el problema haciendo lo siguiente:

  1. Para verificar la configuración del trabajo, haz lo siguiente:
    1. Para ver la información de configuración completa del trabajo, consulta los detalles del trabajo con la CLI de gcloud o la API de Batch. Usa el resultado para los pasos restantes.
    2. Asegúrate de que la cuenta de servicio del trabajo tenga los permisos para escribir métricas del agente de operaciones.
    3. Asegúrate de que la tarea cumpla con todos los requisitos del agente de operaciones.
    4. Asegúrate de que la tarea instale correctamente el agente de operaciones. Aunque es posible instalar el Agente de operaciones de forma manual en un elemento ejecutable, el método recomendado es instalarlo automáticamente configurando el campo installOpsAgent en true.
  2. Si el problema persiste, consulta Cómo solucionar problemas relacionados con el agente de operaciones en la documentación de Observabilidad de Google Cloud.

De lo contrario, haz lo siguiente para resolver el problema:

  1. Asegúrate de que la API de Monitoring esté habilitada para tu proyecto:

    Enable the API

  2. Asegúrate de que las VMs del trabajo hayan comenzado a ejecutarse y de que el tiempo de ejecución siga dentro de los períodos de retención de supervisión. Para ver el tiempo de ejecución del trabajo, consulta los detalles del trabajo.
  3. Para verificar que no haya problemas con los métodos que usas para ver las métricas, haz lo siguiente:
    1. A menos que quieras ver métricas solo para recursos en ejecución, asegúrate de que estás viendo métricas con el Explorador de métricas o un panel personalizado creado a partir de gráficos del Explorador de métricas. Otros métodos, como los paneles de Compute Engine, no muestran métricas de los recursos que se borraron.
    2. Asegúrate de que el período de visualización incluya el tiempo de ejecución de la tarea. En el caso de los gráficos, asegúrate de que la resolución del gráfico sea adecuada para tus datos.
    3. Asegúrate de no tener ningún filtro que oculte los datos.
  4. Si el problema persiste, consulta las páginas para solucionar problemas de supervisión de Cloud en la documentación de Google Cloud Observability.

Se incumplió la restricción para las direcciones IP externas de la VM

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo que falló:

Instance VM_NAME creation failed: Constraint constraints/compute.vmExternalIpAccess violated for project PROJECT_NUMBER.
Add instance VM_NAME to the constraint to use external IP with it.

Este problema se produce porque tu proyecto, carpeta o organización configuró la restricción de la política de la organización compute.vmExternalIpAccess para que solo las VMs incluidas en la lista de entidades permitidas puedan usar direcciones IP externas.

Solución

Para resolver el problema, vuelve a crear la tarea y realiza una de las siguientes acciones:

Se incumple una restricción para las imágenes confiables

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo que falló:

Instance VM_NAME creation failed: Constraint constraints/compute.trustedImageProjects violated for project PROJECT_ID. Use of images from project batch-custom-image is prohibited.

Solución

Este problema se produce porque tu proyecto configuró la restricción de la política de imágenes confiables (compute.trustedImageProjects) para que no se permitan las imágenes de Batch, que se encuentran en el proyecto de imágenes batch-custom-image.

Para resolver el problema, realiza al menos una de las siguientes acciones:

El trabajo falló cuando se usaba una plantilla de instancias

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo con errores que usa una plantilla de instancia:

INVALID_FIELD_VALUE,BACKEND_ERROR

Este problema se produce debido a problemas poco claros con la plantilla de instancia del trabajo.

Solución

Para depurar el problema, haz lo siguiente:

  1. Crea un MIG con la plantilla de instancias y observa si se producen errores con más detalles.

  2. Opcional: Para obtener más información, consulta la operación de larga duración que crea la MIG en la consola de Google Cloud.

    Ir a Operaciones de Compute Engine

Códigos de salida de fallas de tareas

Cuando una tarea específica de un trabajo falla, muestra un código de salida distinto de cero. Según cómo configures el campo ignoreExitStatus, una tarea fallida puede o no provocar que falle un trabajo.

Además de los códigos de salida que definas en un elemento ejecutable, un archivo por lotes tiene varios códigos de salida reservados, incluidos los siguientes.

Interrupción de VM (50001)

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to Spot Preemption with exit code 50001.

Este problema ocurre cuando se interrumpe una VM Spot para la tarea durante el tiempo de ejecución.

Solución

Para solucionar el problema, realiza una de las siguientes acciones:

  • Vuelve a intentar la tarea con los reintentos de tareas automatizados o vuelve a ejecutar el trabajo de forma manual.
  • Para garantizar que no haya interrupciones, usa VMs con el modelo de aprovisionamiento estándar.

Tiempo de espera de los informes de VM (50002)

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to Batch no longer receives VM updates with exit code 50002.

Este problema se produce cuando hay un tiempo de espera en el backend que hace que Batch ya no reciba actualizaciones de una VM para el trabajo. Lamentablemente, muchas fallas de hardware o software pueden hacer que una VM no responda. Por ejemplo, una VM puede fallar debido a un evento de host temporal o a recursos insuficientes.

Solución

Para solucionar este problema, haz lo siguiente:

  1. En caso de que el problema sea temporal y se resuelva por sí solo, vuelve a intentar la tarea con los reintentos de tareas automatizados o vuelve a ejecutar el trabajo de forma manual.

  2. Si el problema persiste, identifica y resuelve el motivo por el que la VM no responde. Para ello, realiza una o más de las siguientes acciones:

    • Recomendado: Obtén asistencia a través de Google Cloud Asistencia o la etiqueta de lotes en los foros de Cloud.

    • Intenta identificar y resolver el problema por tu cuenta. Por ejemplo, si conoces Compute Engine, puedes intentar solucionar los problemas de las VMs de la tarea de la siguiente manera:

      1. Para identificar los nombres de las VMs de tu trabajo, haz lo siguiente:

        1. Consulta los registros del trabajo.
        2. Filtra los registros para encontrar entradas que contengan la frase report agent state:.

        3. Revisa los registros para determinar la VM de cada intento de cada tarea. Cada registro es similar al siguiente, en el que hay una frase instance: y una o más frases task_id:.

          report agent state: ... instance:"INSTANCE_NAME" ... task_id:"task/JOB_UID-group0-TASK_INDEX/TASK_RETRIES/0 ..."

          Este registro incluye los siguientes valores:

          • INSTANCE_NAME: El nombre de la VM.
          • JOB_UID: Es el ID único (UID) de la tarea.
          • TASK_INDEX: Es el índice de la tarea.
          • TASK_RETRIES: Es el intento de la tarea que se ejecutó en esta VM, que tiene el formato de la cantidad de reintentos. Por ejemplo, este valor es 0 para el primer intento de una tarea. Cada tarea solo se intenta una vez, a menos que habilites los reintentos de tareas automatizados.

      2. Soluciona los problemas de las VMs de tu trabajo con la documentación de Compute Engine. Por ejemplo, consulta Soluciona problemas de apagado y reinicio de las VM y Soluciona problemas de inicio de las VM.

La VM se reinició durante la ejecución (50003)

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to VM is rebooted during task execution with exit code 50003.

Este problema se produce cuando una VM de un trabajo se reinicia de forma inesperada durante el tiempo de ejecución.

Solución

Para resolver este problema, vuelve a intentar la tarea con los reintentos de tareas automatizados o vuelve a ejecutar el trabajo de forma manual.

La VM y la tarea no responden (50004)

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to tasks cannot be canceled with exit code 50004.

Este problema ocurre cuando una tarea alcanza el límite de tiempo de inactividad y no se puede cancelar.

Solución

Para resolver este problema, vuelve a intentar la tarea con los reintentos de tareas automatizados o vuelve a ejecutar el trabajo de forma manual.

La tarea se ejecuta durante el tiempo de ejecución máximo (50005).

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to task runs over the maximum runtime with exit code 50005.

Este problema ocurre en los siguientes casos:

  • El tiempo de ejecución de una tarea supera el límite de tiempo especificado en el campo maxRunDuration.
  • El tiempo de ejecución de un elemento ejecutable supera el límite de tiempo especificado en el campo timeout.

Para identificar específicamente qué límite de tiempo se superó, consulta los registros del trabajo y busca un registro que mencione el código de salida 50005. Este campo textPayload de este registro indica dónde y cuándo se excedió el límite de tiempo.

Solución

Para resolver el problema, intenta verificar el tiempo de ejecución total que requiere la tarea o el elemento ejecutable que superó el límite de tiempo. A continuación, realiza una de las siguientes acciones:

  • Si solo esperas este error de forma ocasional, por ejemplo, para una tarea o un elemento ejecutable con un tiempo de ejecución incoherente, puedes intentar volver a crear el trabajo y configurarlo para automatizar los reintentos de tareas y tratar de aumentar la tasa de éxito.

  • De lo contrario, si la tarea o el elemento ejecutable necesitan de forma coherente e intencional más tiempo para terminar de ejecutarse de lo que permite el tiempo de espera actual, establece un tiempo de espera más largo.

La VM se volvió a crear durante la ejecución (50006)

Problema

El siguiente problema aparece en el campo statusEvents de un trabajo:

Task state is updated from PRE-STATE to FAILED on zones/ZONE/instances/INSTANCE_ID due to VM is recreated during task execution with exit code 50006.

Este problema se produce cuando se vuelve a crear de forma inesperada una VM para una tarea durante el tiempo de ejecución.

Solución

Para resolver este problema, vuelve a intentar la tarea con los reintentos de tareas automatizados o vuelve a ejecutar el trabajo de forma manual.

¿Qué sigue?