Organízate con las colecciones
Guarda y clasifica el contenido según tus preferencias.
Para asegurarte de que los recursos de VM estén disponibles cuando los necesiten tus trabajos de Dataflow, puedes usar reservas de Compute Engine. Las reservas ofrecen un alto nivel de garantía para obtener capacidad para los recursos de zona de Compute Engine.
Para usar reservas de Compute Engine con Dataflow, sigue estos pasos:
Crea una reserva de Compute Engine. Puede ser una reserva de un solo proyecto o una reserva compartida. Para obtener más información, consulta los siguientes documentos:
La reserva puede incluir aceleradores de GPU o TPU.
Cuando envíes tu tarea de Dataflow, pasa una de las siguientes opciones de servicio, en función de la versión del SDK de Beam que estés usando:
Versión de Beam anterior a la 2.29: --experiments=skip_gce_quota_verification
Versión de Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation
Para evitar que las cargas de trabajo de baja prioridad del mismo proyecto compitan por las reservas con Dataflow, asigna la afinidad de reserva a none cuando crees las VMs de esas cargas de trabajo. Para obtener más información, consulta Consumir instancias reservadas.
Para usar la reserva, los trabajadores de Dataflow deben coincidir con la configuración de la reserva. Es posible que tengas que definir el tipo de máquina de los trabajadores de la tarea. Para obtener más información, consulta Trabajadores.
Limitaciones
Se aplican todas las limitaciones de las reservas de Compute Engine cuando los trabajadores de Dataflow consumen reservas. Consulta cómo funcionan las reservas.
Dataflow se basa en el orden de consumo predeterminado de Compute Engine. Por lo tanto, se aplican las siguientes limitaciones:
Otras cargas de trabajo del mismo proyecto u organización que no especifiquen la marca --reservation pueden competir con las cargas de trabajo de Dataflow por las reservas específicas del proyecto o compartidas.
Las tareas de Dataflow Prime no consumen reservas de Compute Engine.
Dataflow te factura las VMs de las reservas consumidas automáticamente mientras se ejecuta tu tarea de Dataflow. Cuando Dataflow no usa las VMs, Compute Engine te factura.
Modelo de precios de Compute Engine
Si tu uso de Dataflow incluye máquinas virtuales de reservas específicas
que tienen GPUs o TPUs, los recursos de computación de esas máquinas virtuales reservadas se facturan según los precios de Compute Engine. Si tus reservas específicas están asociadas a un compromiso basado en recursos de Compute Engine, también recibirás los descuentos por compromiso de uso (CUDs) basados en recursos que correspondan por tu uso. También se te cobra una prima de gestión por los recursos de computación que se consumen en Dataflow. Para obtener más información sobre los precios, consulta la página
Precios de Dataflow.
Modelo de precios de Dataflow
En el caso de cualquier otro tipo de reserva de Compute Engine que uses con Dataflow, el uso se factura según el modelo de precios de Dataflow. El uso de Dataflow
de esas reservas no cumple los requisitos de los CUDs basados en recursos, aunque
esas reservas estén asociadas a un compromiso basado en recursos. Esto se aplica a las siguientes reservas de Compute Engine:
[[["Es fácil de entender","easyToUnderstand","thumb-up"],["Me ofreció una solución al problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Es difícil de entender","hardToUnderstand","thumb-down"],["La información o el código de muestra no son correctos","incorrectInformationOrSampleCode","thumb-down"],["Me faltan las muestras o la información que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-10 (UTC)."],[[["\u003cp\u003eCompute Engine reservations can be used to ensure VM resources are available for Dataflow jobs.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize reservations, create a Compute Engine reservation and pass the appropriate service option when submitting a Dataflow job, dependent on the Beam SDK version used.\u003c/p\u003e\n"],["\u003cp\u003eSetting the reservation affinity to \u003ccode\u003enone\u003c/code\u003e for low-priority workloads prevents competition for reservations with Dataflow jobs.\u003c/p\u003e\n"],["\u003cp\u003eDataflow worker configurations must match the reservation's configuration to successfully consume the reserved resources, which may require adjustments to the worker machine type.\u003c/p\u003e\n"],["\u003cp\u003eCompute Engine reservations used with Dataflow are billed by Dataflow while the job runs and by Compute Engine when idle, and they are not eligible for Compute Engine committed use discounts.\u003c/p\u003e\n"]]],[],null,["To ensure that VM resources are available when your Dataflow jobs need\nthem, you can use Compute Engine reservations. Reservations provide a high\nlevel of assurance in obtaining capacity for Compute Engine zonal\nresources.\n\nTo use Compute Engine reservations with Dataflow, perform the\nfollowing steps:\n\n1. Create a Compute Engine reservation. It can be a single-project\n reservation or a shared reservation. For more information, see the following\n documents:\n\n - [Create a reservation for a single project](/compute/docs/instances/reservations-single-project)\n - [Create a shared reservation](/compute/docs/instances/reservations-shared)\n\n The reservation can include GPU or TPU accelerators.\n2. When you submit your Dataflow job, pass one of the following\n service options, depending on which version of the Beam SDK you are using:\n\n - Beam version \\\u003c 2.29: `--experiments=skip_gce_quota_verification`\n - Beam version \\\u003e= 2.29: `--dataflow_service_options=automatically_use_created_reservation`\n\nTo prevent low-priority workloads in the same project from competing for\nreservations with Dataflow, set the reservation affinity to\n`none` when you create VMs for those workloads. For more information, see\n[Consuming reserved instances](/compute/docs/instances/reserving-zonal-resources#consuming_reserved_instances).\n\nIn order to use the reservation, the Dataflow workers must match\nthe reservation configuration. You might need to set the worker machine type for\nthe job. For more information, see\n[Workers](/dataflow/docs/request-quotas#workers).\n\nLimitations\n\n- All limitations of Compute Engine reservations apply when\n Dataflow workers consume reservations. See\n [How reservations work](/compute/docs/instances/reservations-overview#how-reservations-work).\n\n- Dataflow relies on the\n [default consumption order](/compute/docs/instances/reservations-overview#consumption-order)\n in Compute Engine. As a result, the following limitations apply:\n\n - Other workloads in the same project or Organization that don't specify the `--reservation` flag might compete with Dataflow workloads for project-specific or shared reservations.\n- Dataflow Prime jobs don't consume Compute Engine reservations.\n\nReservations and accelerators\n\nDataflow supports [*specifically targeted*\nreservations](/compute/docs/instances/reservations-consume#consuming_instances_from_a_specific_reservation)\nfor pipelines using accelerators (GPUs or TPUs). This functionality is generally\navailable with an allowlist. For instructions on using Dataflow\naccelerators with specific reservations, contact your account team.\n\nPricing\n\nDataflow bills you for VMs from *automatically consumed*\nreservations while your Dataflow job runs. When\nDataflow isn't using the VMs, Compute Engine bills you.\n\nCompute Engine pricing model\n\nIf your Dataflow usage includes VMs from [*specifically targeted*\nreservations](/compute/docs/instances/reservations-overview#consumption-type)\nthat have GPUs or TPUs, then compute resources from those reserved VMs are\nbilled according to [Compute Engine\nPricing](/compute/all-pricing). If your *specifically targeted* reservations are\nattached to a [Compute Engine resource-based\ncommitment](/compute/docs/instances/signing-up-committed-use-discounts), then\nyou also receive applicable resource-based committed use discounts (CUDs) for\nyour usage. You're also billed a management premium for compute resources\nconsumed in Dataflow. For more pricing details, see [Dataflow Pricing](/dataflow/pricing).\n\nDataflow pricing model\n\nFor any other type of Compute Engine reservations that you use with\nDataflow, your usage is billed by using the\n[Dataflow pricing model](/dataflow/pricing). Dataflow\nusage from those reservations isn't eligible for resource-based CUDs, even if\nthose reservations are attached to a resource-based commitment. This applies to\nthe following Compute Engine reservations:\n\n- *Specifically targeted* reservations that don't have GPUs or TPUs\n- All *automatically consumed* reservations\n\nWhat's next\n\nTo learn more about Compute Engine reservations, see\n[Reservations of Compute Engine zonal resources](/compute/docs/instances/reservations-overview)."]]
