Usa reservas de Compute Engine con Dataflow

Para asegurarte de que los recursos de VM estén disponibles cuando tus trabajos de Dataflow los necesiten, puedes usar las reservas de Compute Engine. Las reservas proporcionan un nivel de seguridad alto a fin de obtener capacidad para los recursos zonales de Compute Engine.

Para usar las reservas de Compute Engine con Dataflow, sigue estos pasos:

  1. Crea una reserva de Compute Engine. Puede ser una reserva de un solo proyecto o una reserva compartida. Para obtener más información, consulta los siguientes documentos:

    La reserva puede incluir aceleradores de GPU.

  2. Cuando envíes el trabajo de Dataflow, pasa una de las siguientes opciones de servicio, según la versión del SDK de Beam que uses:

    • Versión de Beam < 2.29: --experiments=skip_gce_quota_verification
    • Versión de Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Para evitar que las cargas de trabajo de prioridad baja en el mismo proyecto compitan por las reservas con Dataflow, establece la afinidad de reserva en none cuando crees las VMs de esas cargas de trabajo. Para obtener más información, consulta Consume instancias reservadas.

Para usar la reserva, los trabajadores de Dataflow deben coincidir con la configuración de la reserva. Es posible que debas configurar el tipo de máquina del trabajador para el trabajo. Para obtener más información, consulta Trabajadores.

Limitaciones

  • Todas las limitaciones de las reservas de Compute Engine se aplican cuando los trabajadores de Dataflow consumen reservas. Consulta la sección sobre cómo funcionan las reservas.

  • Dataflow se basa en el orden de consumo predeterminado de Compute Engine. Como resultado, se aplican las siguientes limitaciones:

    • Dataflow no consume una reserva creada con la marca --require-specific-reservation.
    • Otras cargas de trabajo en la misma organización o el mismo proyecto que no especifiquen la marca --reservation pueden competir con las cargas de trabajo de Dataflow por reservas compartidas o específicas del proyecto.

  • Los trabajos de Dataflow Prime no consumen reservas de Compute Engine.

Precios

Dataflow factura las VMs de Compute Engine reservadas mientras se ejecuta el trabajo de Dataflow, y Compute Engine las factura cuando Dataflow no usa las VMs.

Si usas tus reservas de Compute Engine con Dataflow, esos recursos reservados no son aptos para los descuentos por compromiso de uso de Compute Engine. El uso se factura según el modelo de precios de Dataflow.

¿Qué sigue?

Para obtener más información sobre las reservas de Compute Engine, consulta Reservas de recursos zonales de Compute Engine.