Menggunakan reservasi Compute Engine dengan Dataflow
Tetap teratur dengan koleksi
Simpan dan kategorikan konten berdasarkan preferensi Anda.
Untuk memastikan resource VM tersedia saat tugas Dataflow Anda membutuhkannya, Anda dapat menggunakan reservasi Compute Engine. Pemesanan memberikan tingkat jaminan yang tinggi dalam mendapatkan kapasitas untuk resource zona Compute Engine.
Untuk menggunakan reservasi Compute Engine dengan Dataflow, lakukan
langkah-langkah berikut:
Buat reservasi Compute Engine. Pemesanan ini dapat berupa pemesanan
satu project atau pemesanan bersama. Untuk informasi selengkapnya, lihat dokumen
berikut:
Pemesanan dapat mencakup akselerator GPU atau TPU.
Saat mengirimkan tugas Dataflow, teruskan salah satu opsi layanan berikut, bergantung pada versi Beam SDK yang Anda gunakan:
Beam versi < 2.29: --experiments=skip_gce_quota_verification
Versi Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation
Untuk mencegah workload berprioritas rendah dalam project yang sama bersaing untuk mendapatkan reservasi dengan Dataflow, tetapkan afinitas reservasi ke
none saat Anda membuat VM untuk workload tersebut. Untuk mengetahui informasi selengkapnya, lihat
Menggunakan instance yang dipesan.
Untuk menggunakan reservasi, pekerja Dataflow harus cocok dengan konfigurasi reservasi. Anda mungkin perlu menyetel jenis mesin pekerja untuk
tugas. Untuk mengetahui informasi selengkapnya, lihat
Pekerja.
Batasan
Semua batasan pemesanan Compute Engine berlaku saat pekerja Dataflow menggunakan pemesanan. Lihat
Cara kerja pemesanan.
Dataflow mengandalkan
urutan penggunaan default
di Compute Engine. Akibatnya, batasan berikut berlaku:
Workload lain dalam project atau Organisasi yang sama yang tidak menentukan flag
--reservation dapat bersaing dengan workload Dataflow untuk mendapatkan reservasi
spesifik per project atau bersama.
Tugas Dataflow Prime tidak menggunakan reservasi Compute Engine.
Reservasi dan akselerator
Dataflow mendukung reservasi yang ditargetkan secara khusus
untuk pipeline yang menggunakan akselerator (GPU atau TPU). Fungsi ini umumnya tersedia dengan daftar yang diizinkan. Untuk mengetahui petunjuk tentang cara menggunakan akselerator Dataflow dengan reservasi tertentu, hubungi tim akun Anda.
Harga
Dataflow menagih Anda untuk VM dari reservasi yang dikonsumsi secara otomatis saat tugas Dataflow Anda berjalan. Saat Dataflow tidak menggunakan VM, Compute Engine akan menagih Anda.
Model harga Compute Engine
Jika penggunaan Dataflow Anda mencakup VM dari reservasi yang ditargetkan secara khusus
yang memiliki GPU atau TPU, maka resource komputasi dari VM yang dipesan tersebut akan ditagih sesuai dengan Harga Compute Engine. Jika reservasi yang ditargetkan secara khusus dilampirkan ke komitmen berbasis resource Compute Engine, Anda juga akan menerima diskon abonemen (CUD) berbasis resource yang berlaku untuk penggunaan Anda. Anda juga ditagih biaya premium pengelolaan untuk resource komputasi yang digunakan di Dataflow. Untuk mengetahui detail harga selengkapnya, lihat
Harga Dataflow.
Model harga Dataflow
Untuk jenis reservasi Compute Engine lainnya yang Anda gunakan dengan
Dataflow, penggunaan Anda ditagih menggunakan
model harga Dataflow. Penggunaan Dataflow dari pemesanan tersebut tidak memenuhi syarat untuk CUD berbasis resource, meskipun pemesanan tersebut dilampirkan ke komitmen berbasis resource. Hal ini berlaku untuk
pemesanan Compute Engine berikut:
Pemesanan yang ditargetkan secara khusus yang tidak memiliki GPU atau TPU
[[["Mudah dipahami","easyToUnderstand","thumb-up"],["Memecahkan masalah saya","solvedMyProblem","thumb-up"],["Lainnya","otherUp","thumb-up"]],[["Sulit dipahami","hardToUnderstand","thumb-down"],["Informasi atau kode contoh salah","incorrectInformationOrSampleCode","thumb-down"],["Informasi/contoh yang saya butuhkan tidak ada","missingTheInformationSamplesINeed","thumb-down"],["Masalah terjemahan","translationIssue","thumb-down"],["Lainnya","otherDown","thumb-down"]],["Terakhir diperbarui pada 2025-09-10 UTC."],[[["\u003cp\u003eCompute Engine reservations can be used to ensure VM resources are available for Dataflow jobs.\u003c/p\u003e\n"],["\u003cp\u003eTo utilize reservations, create a Compute Engine reservation and pass the appropriate service option when submitting a Dataflow job, dependent on the Beam SDK version used.\u003c/p\u003e\n"],["\u003cp\u003eSetting the reservation affinity to \u003ccode\u003enone\u003c/code\u003e for low-priority workloads prevents competition for reservations with Dataflow jobs.\u003c/p\u003e\n"],["\u003cp\u003eDataflow worker configurations must match the reservation's configuration to successfully consume the reserved resources, which may require adjustments to the worker machine type.\u003c/p\u003e\n"],["\u003cp\u003eCompute Engine reservations used with Dataflow are billed by Dataflow while the job runs and by Compute Engine when idle, and they are not eligible for Compute Engine committed use discounts.\u003c/p\u003e\n"]]],[],null,["To ensure that VM resources are available when your Dataflow jobs need\nthem, you can use Compute Engine reservations. Reservations provide a high\nlevel of assurance in obtaining capacity for Compute Engine zonal\nresources.\n\nTo use Compute Engine reservations with Dataflow, perform the\nfollowing steps:\n\n1. Create a Compute Engine reservation. It can be a single-project\n reservation or a shared reservation. For more information, see the following\n documents:\n\n - [Create a reservation for a single project](/compute/docs/instances/reservations-single-project)\n - [Create a shared reservation](/compute/docs/instances/reservations-shared)\n\n The reservation can include GPU or TPU accelerators.\n2. When you submit your Dataflow job, pass one of the following\n service options, depending on which version of the Beam SDK you are using:\n\n - Beam version \\\u003c 2.29: `--experiments=skip_gce_quota_verification`\n - Beam version \\\u003e= 2.29: `--dataflow_service_options=automatically_use_created_reservation`\n\nTo prevent low-priority workloads in the same project from competing for\nreservations with Dataflow, set the reservation affinity to\n`none` when you create VMs for those workloads. For more information, see\n[Consuming reserved instances](/compute/docs/instances/reserving-zonal-resources#consuming_reserved_instances).\n\nIn order to use the reservation, the Dataflow workers must match\nthe reservation configuration. You might need to set the worker machine type for\nthe job. For more information, see\n[Workers](/dataflow/docs/request-quotas#workers).\n\nLimitations\n\n- All limitations of Compute Engine reservations apply when\n Dataflow workers consume reservations. See\n [How reservations work](/compute/docs/instances/reservations-overview#how-reservations-work).\n\n- Dataflow relies on the\n [default consumption order](/compute/docs/instances/reservations-overview#consumption-order)\n in Compute Engine. As a result, the following limitations apply:\n\n - Other workloads in the same project or Organization that don't specify the `--reservation` flag might compete with Dataflow workloads for project-specific or shared reservations.\n- Dataflow Prime jobs don't consume Compute Engine reservations.\n\nReservations and accelerators\n\nDataflow supports [*specifically targeted*\nreservations](/compute/docs/instances/reservations-consume#consuming_instances_from_a_specific_reservation)\nfor pipelines using accelerators (GPUs or TPUs). This functionality is generally\navailable with an allowlist. For instructions on using Dataflow\naccelerators with specific reservations, contact your account team.\n\nPricing\n\nDataflow bills you for VMs from *automatically consumed*\nreservations while your Dataflow job runs. When\nDataflow isn't using the VMs, Compute Engine bills you.\n\nCompute Engine pricing model\n\nIf your Dataflow usage includes VMs from [*specifically targeted*\nreservations](/compute/docs/instances/reservations-overview#consumption-type)\nthat have GPUs or TPUs, then compute resources from those reserved VMs are\nbilled according to [Compute Engine\nPricing](/compute/all-pricing). If your *specifically targeted* reservations are\nattached to a [Compute Engine resource-based\ncommitment](/compute/docs/instances/signing-up-committed-use-discounts), then\nyou also receive applicable resource-based committed use discounts (CUDs) for\nyour usage. You're also billed a management premium for compute resources\nconsumed in Dataflow. For more pricing details, see [Dataflow Pricing](/dataflow/pricing).\n\nDataflow pricing model\n\nFor any other type of Compute Engine reservations that you use with\nDataflow, your usage is billed by using the\n[Dataflow pricing model](/dataflow/pricing). Dataflow\nusage from those reservations isn't eligible for resource-based CUDs, even if\nthose reservations are attached to a resource-based commitment. This applies to\nthe following Compute Engine reservations:\n\n- *Specifically targeted* reservations that don't have GPUs or TPUs\n- All *automatically consumed* reservations\n\nWhat's next\n\nTo learn more about Compute Engine reservations, see\n[Reservations of Compute Engine zonal resources](/compute/docs/instances/reservations-overview)."]]
