En este documento, se explica cómo crear trabajos que se ejecuten en recursos reservados y cómo bloquear los trabajos para que no consuman reservas.
Las reservas son una función de Compute Engine. Una reserva proporciona un un alto nivel de garantía en la obtención de capacidad para una o más VMs con el configuración de hardware especificada. Una reserva de una VM genera los costos de esta VM desde el momento en que la creas hasta que la borras. Sin embargo, mientras consumes esa VM, el costo total equivale a una VM sin reserva.
Por lo general, las reservas son útiles cuando la disponibilidad de la capacidad es de importancia crítica o para evitar errores en la obtención de recursos. En el caso de Batch, considera usar reservas dedicadas para ayudar a minimizar el tiempo de programación de trabajos o intenta usar las reservas existentes mientras no se usen. Si tienes reservas que no se usan lo suficiente, como las reservas necesarias para los descuentos por compromiso de uso, puedes configurar trabajos para intentar consumirlas mientras no se usan y así optimizar los costos incurridos. Como alternativa, si quieres priorizar la disponibilidad de recursos para otras cargas de trabajo en tu proyecto, puedes bloquear explícitamente un trabajo para que no consuma reservas.
Para obtener más información sobre las reservas, consulta la Documentación de Compute Engine sobre reservas
Antes de comenzar
- Si nunca antes usaste Batch, consulta Cómo comenzar a usar Batch y habilita Batch completando los requisitos previos para proyectos y usuarios.
- Asegúrate de tener los permisos para crear una reserva o ver una reserva existente que quieres que las VMs de un trabajo consuman según sea necesario.
-
A fin de obtener los permisos que necesitas para crear un trabajo, solicita a tu administrador que te otorgue el los siguientes roles de IAM:
-
Editor de trabajos por lotes (
roles/batch.jobsEditor
) en el proyecto -
Usuario de cuenta de servicio (
roles/iam.serviceAccountUser
) en la cuenta de servicio del trabajo, que, de forma predeterminada, es la cuenta de servicio predeterminada de Compute Engine
Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
-
Editor de trabajos por lotes (
Restricciones
Además del artículo restricciones generales para las reservas Batch también tiene las siguientes restricciones:
- Las VMs de una tarea no pueden consumir reservas compartidas.
- Las VMs de un trabajo no pueden consumir reservas si especifican una política de posición compacta.
Requisitos
En esta sección, se resumen los requisitos para que las VMs de un trabajo consuman una reserva. Para obtener más información sobre todos los requisitos, consulta la requisitos generales para las reservas en la documentación de Compute Engine y en la procedimiento para planificar la configuración más adelante en este documento.
Para que las VMs de un trabajo puedan consumir una reserva, se deben cumplir todas las siguientes condiciones:
En el trabajo y la reserva, se deben especificar las propiedades de la VM que coinciden de forma exacta.
Debe cumplir con todas las restricciones de este documento y todos los demás requisitos generales de las reservas.
Para que cada una de las VMs de un trabajo consuma una reserva de forma correcta, esta debe tener capacidad sin usar disponible durante el tiempo de ejecución de la VM.
La capacidad sin usar de una reserva es la diferencia entre su Cantidad de VM y la cantidad de VMs que lo consumen actualmente. las VMs intentan consumir reservas cuando tienes capacidad de reserva sin usar. Entonces, una VM puede empezar a consumir cuando se crea la VM o una fecha posterior en su tiempo de ejecución. Una VM no y deja de consumir una reserva hasta que la VM deja de ejecutarse o borrar.
Según la capacidad de reserva total sin usar, ninguna, algunas o todas las VMs de un trabajo podrían consumir reservas, y la cantidad de VMs reservadas podría varían a lo largo del tiempo de ejecución del trabajo.
Crear y ejecutar un trabajo que pueda consumir VMs reservadas
Planifica tu configuración. Para asegurarte de que el trabajo y la reserva sean compatibles, completa los siguientes pasos.
Si quieres consumir una reserva que ya existe, debes crear una trabajo con la configuración correspondiente. De lo contrario, si planeas crear un reserva nueva, selecciona las opciones de configuración que prefieras.
Determina las propiedades de la reserva. Debido a las restricciones, el tipo de recurso compartido debe ser un solo proyecto, que es la opción predeterminada para una reserva. Determina los valores que deseas usar para las siguientes propiedades de reserva:
- Tipo de consumo*
- VM VMs†
*El tipo de consumo de la reserva (específicamente orientada o consumida automáticamente) determina qué VMs pueden consumir la reserva.
†El registro de VMs representa la capacidad total de una reserva. Cuando decidas este valor, ten en cuenta la cantidad de VMs del trabajo.
Determina las propiedades de la VM para el trabajo y la reserva. Debido a las restricciones, ni el trabajo ni la reserva pueden especificar una política de posición compacta, que es la opción predeterminada para reservas y trabajos. Determina los valores que deseas usar para las siguientes propiedades de VM, que deben coincidir exactamente con la reserva y el trabajo:
- Proyecto
- Zona*
- Tipo de máquina†
- Plataforma de CPU mínima† (si existe‡)
- Tipo y recuento de GPU† (si corresponde‡)
- Tipo y cantidad de SSD locales† (si corresponde‡)
- Afinidad de reserva†#
*Las VMs de trabajo deben estar ubicadas en la misma zona que las VMs reservadas. Debes incluir esta zona en el bucket
allowedLocations[]
o, si se omite el CampoallowedLocations[]
, establece la ubicación del trabajo a la región que contiene esta zona.†El trabajo debe definir todas estas propiedades mediante los subcampos
policy
o una plantilla de instancias de VM. Una tarea no puede especificar una combinación de subcampospolicy
y una plantilla.‡ No se puede definir un campo opcional para un recurso y omitir el otro. Define u omite el campo opcional para ambos la reservación y el trabajo. Si el trabajo especifica una plantilla de instancias de VM, esto también se aplica a los campos de la plantilla especificada.
#La reserva tipo de consumo determina la afinidad de reserva necesaria para las VMs del trabajo, que debes especificarlo en el trabajo de la siguiente manera:
- Si el trabajo usa una plantilla de instancia de VM, la plantilla debe configurar la afinidad de reserva como se explica en la documentación de reservas.
- Si el trabajo no usa una plantilla y la reserva está
específicamente orientado, especifica el nombre de la reserva en la
el campo
reservation
del trabajo. - De lo contrario, si el trabajo no usa una plantilla y la reserva se consume automáticamente, omite el campo
reservation
del trabajo.
Prepara la reserva. Si aún no lo hiciste, crea la reserva que quieres que consuman las VMs del trabajo. Asegúrate de que la reserva tenga las propiedades que planificaste.
Crea y ejecuta el trabajo. Puedes crear y ejecutar un trabajo que consuma VMs de la reserva preparada con el gcloud CLI o API de Batch:
gcloud
Crear un archivo JSON que especifique los detalles de configuración del trabajo que establece Subcampos del recurso de instancia de VM (
instances[]
) para que coincida exactamente con las propiedades de la VM de una reserva.Por ejemplo, para crear un trabajo de secuencia de comandos básico que consuma VMs de un reserva, crea un archivo JSON con los siguientes contenidos:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}" } } ] }, "taskCount": 3 } ], "allocationPolicy": { "instances": [ { VM_RESOURCES } ], }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Reemplaza
VM_RESOURCES
por los recursos de VM. que coincidan con la reserva que quieres que el trabajo consuma especificando los subcamposinstances[]
que planeaste en el pasos anteriores.Por ejemplo, comienza con el siguiente valor para
VM_RESOURCES
:"installGpuDrivers": INSTALL_GPU_DRIVERS, "policy": { "machineType": "MACHINE_TYPE", "minCpuPlatform": "MIN_CPU_PLATFORM", "accelerators": [ { "type": "GPU_TYPE", "count": GPU_COUNT } ], "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ], "reservation": "SPECIFIC_RESERVATION_NAME" }
Para usar este valor, realiza los siguientes cambios:
¿Quieres usar una plantilla de instancias?
Sí: Reemplaza el campo
policy
por el campoinstanceTemplate
y especifica una plantilla de instancias de VM existente que coincida con la reserva. Por ejemplo, consulta el ejemplo de código para usar una plantilla de instancia de VM. Si la reserva usa GPUs o SSD locales, también debes configurar el campoinstallGpuDrivers
y el campovolumes[]
de la tarea, respectivamente. De lo contrario, omite los pasos restantes cambios.No: Reemplaza
MACHINE_TYPE
por el mismo tipo de máquina que la reserva.
¿La reserva incluye una plataforma de CPU mínima?
Sí: Reemplaza
MIN_CPU_PLATFORM
por la misma plataforma de CPU mínima.No: Quita el campo
minCpuPlatform
.
¿La reserva incluye GPUs?
Sí: Reemplaza
INSTALL_GPU_DRIVERS
.GPU_TYPE
yGPU_COUNT
para que coincida con la reserva. Por ejemplo, consulta la muestra de código de con GPU.No: Quita el campo
installGpuDrivers
y el campoaccelerators[]
.
¿La reserva incluye SSD locales?
Sí: Reemplaza
LOCAL_SSD_SIZE
yLOCAL_SSD_NAME
para que coincida con la reserva y activar los SSD locales agregando el Campovolumes[]
al trabajo. Por ejemplo, consulta la muestra de código para usar SSD locales.No: Quita el campo
disks[]
.
¿La reserva usa el tipo de consumo segmentado específicamente?
Sí: Reemplaza
SPECIFIC_RESERVATION_NAME
con el nombre de la reserva.No: Quita el campo
reservation
.
Por ejemplo, imagina que usas un bucket reserva para
n2-standard-32
VM que no especifica ninguna plataforma de CPU mínima, GPU o SSD locales. Además, no quieres especificar una plantilla de instancia de VM. En ese caso, debes reemplazarVM_RESOURCES
con el siguiente valor:"policy": { "machineType": "n2-standard-32" }
Para crear y ejecutar la tarea, usa el comando
gcloud batch jobs submit
:gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo.LOCATION
: Es la ubicación. del trabajo. A menos que el trabajo especifiqueallowedLocations[]
, debe ser la región que contiene la zona de la reserva.JSON_CONFIGURATION_FILE
: Es la ruta de acceso a un archivo JSON con los detalles de configuración de la tarea.
API
Realiza una solicitud
POST
al Métodojobs.create
que establece Subcampos de recurso de instancia de VM (instances[]
) para que coincida exactamente con las propiedades de la VM de una reserva.Por ejemplo, para crear un trabajo de secuencia de comandos básico que consuma VMs de una reserva, realiza la siguiente solicitud:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME { "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}" } } ] }, "taskCount": 3 } ], "allocationPolicy": { "instances": [ { VM_RESOURCES } ], }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Reemplaza lo siguiente:
PROJECT_ID
: el ID del proyecto de tu proyecto.LOCATION
: Es la ubicación. del trabajo. A menos que el trabajo especifiqueallowedLocations[]
, debe ser la región que contiene la zona de la reserva.JOB_NAME
: Es el nombre del trabajo.VM_RESOURCES
: Los recursos de la VM que coincidan con la reserva que quieres que el trabajo consuma especificando los subcamposinstances[]
que planeaste en el pasos anteriores.Por ejemplo, comienza con el siguiente valor para
VM_RESOURCES
:"installGpuDrivers": INSTALL_GPU_DRIVERS, "policy": { "machineType": "MACHINE_TYPE", "minCpuPlatform": "MIN_CPU_PLATFORM", "accelerators": [ { "type": "GPU_TYPE", "count": GPU_COUNT } ], "disks": [ { "newDisk": { "sizeGb": LOCAL_SSD_SIZE, "type": "local-ssd" }, "deviceName": "LOCAL_SSD_NAME" } ], "reservation": "SPECIFIC_RESERVATION_NAME" }
Para usar este valor, realiza los siguientes cambios:
¿Quieres usar una plantilla de instancias?
Sí: Reemplaza
policy
. con el campoinstanceTemplate
y especificar una Plantilla de instancia de VM que coincide con la reserva. Por ejemplo, consulta el ejemplo de código para usar una plantilla de instancia de VM. Si la reserva usa GPUs o SSD locales, también debes configurar el campoinstallGpuDrivers
y el campovolumes[]
de la tarea, respectivamente. De lo contrario, omite los pasos restantes cambios.No: Reemplaza
MACHINE_TYPE
por el mismo tipo de máquina que la reserva.
¿La reserva incluye una plataforma de CPU mínima?
Sí: Reemplaza
MIN_CPU_PLATFORM
por la misma plataforma de CPU mínima.No: Quita el campo
minCpuPlatform
.
¿La reserva incluye GPUs?
Sí: Reemplaza
INSTALL_GPU_DRIVERS
,GPU_TYPE
yGPU_COUNT
para que coincidan con la reserva. Por ejemplo, consulta la muestra de código para usar GPUs.No: quita el campo
installGpuDrivers
y lasaccelerators[]
.
¿La reserva incluye SSD locales?
Sí: Reemplaza
LOCAL_SSD_SIZE
yLOCAL_SSD_NAME
para que coincidan con la reserva y, luego, agrega el campovolumes[]
al trabajo para activar los SSD locales. Por ejemplo, consulta la muestra de código para usar SSD locales.No: Quita el campo
disks[]
.
¿La reserva usa el tipo de consumo segmentado específicamente?
Sí: Reemplaza
SPECIFIC_RESERVATION_NAME
con el nombre de la reserva.No: Quita el campo
reservation
.
Por ejemplo, supongamos que usas una reserva consumida automáticamente para VMs
n2-standard-32
que no especifica ninguna plataforma de CPU mínima, GPU ni SSD local. Además, no quieres especificar una plantilla de instancias de VM. En ese caso, debes reemplazarVM_RESOURCES
por el siguiente valor:"policy": { "machineType": "n2-standard-32" }
Crea y ejecuta un trabajo que no pueda consumir VMs reservadas
Para impedir que un trabajo consuma reservas, establece la
Campo reservation
a NO_RESERVATION
. Para obtener más información sobre cómo evitar la reserva
el consumo, consulta
Crea VMs sin consumir reservas
en la documentación de Compute Engine.
Puedes crear y ejecutar una tarea que no pueda consumir ninguna VM reservada con la CLI de gcloud o la API de Batch.
gcloud
Crea un archivo JSON que especifique los detalles de configuración de la tarea y establezca el campo
reservation
enNO_RESERVATION
.Por ejemplo, para crear una tarea de secuencia de comandos básica que no pueda consumir reservas, crea un archivo JSON con el siguiente contenido:
{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world from task ${BATCH_TASK_INDEX}" } } ] }, "taskCount": 3 } ], "allocationPolicy": { "instances": [ { "policy": { "reservation": "NO_RESERVATION" } } ], }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }
Para crear y ejecutar la tarea, usa el comando
gcloud batch jobs submit
:gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE
Reemplaza lo siguiente:
JOB_NAME
: Es el nombre del trabajo.LOCATION
: Es la ubicación. del trabajo.JSON_CONFIGURATION_FILE
: Es la ruta de acceso para un JSON. con los detalles de configuración del trabajo.
API
Realiza una solicitud POST
al
Método jobs.create
que establece el campo reservation
en NO_RESERVATION
.
Por ejemplo, para crear un trabajo de secuencia de comandos básico que no pueda consumir reservas, realiza la siguiente solicitud:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world from task ${BATCH_TASK_INDEX}"
}
}
]
},
"taskCount": 3
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"reservation": "NO_RESERVATION"
}
}
],
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
Reemplaza lo siguiente:
PROJECT_ID
: el ID del proyecto de tu proyecto.LOCATION
: Es la ubicación del trabajo.JOB_NAME
: Es el nombre del trabajo.
¿Qué sigue?
- Si tienes problemas para crear o ejecutar un trabajo, consulta Solución de problemas.
- Visualiza trabajos y tareas.
- Obtén más información sobre las opciones de creación de trabajos.