Menggunakan reservasi Compute Engine dengan Dataflow

Untuk memastikan resource VM tersedia saat tugas Dataflow Anda membutuhkannya, Anda dapat menggunakan reservasi Compute Engine. Pemesanan memberikan tingkat jaminan yang tinggi dalam mendapatkan kapasitas untuk resource zona Compute Engine.

Untuk menggunakan reservasi Compute Engine dengan Dataflow, lakukan langkah-langkah berikut:

  1. Buat reservasi Compute Engine. Pemesanan ini dapat berupa pemesanan satu project atau pemesanan bersama. Untuk informasi selengkapnya, lihat dokumen berikut:

    Pemesanan dapat mencakup akselerator GPU atau TPU.

  2. Saat mengirimkan tugas Dataflow, teruskan salah satu opsi layanan berikut, bergantung pada versi Beam SDK yang Anda gunakan:

    • Beam versi < 2.29: --experiments=skip_gce_quota_verification
    • Versi Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Untuk mencegah workload berprioritas rendah dalam project yang sama bersaing untuk mendapatkan reservasi dengan Dataflow, tetapkan afinitas reservasi ke none saat Anda membuat VM untuk workload tersebut. Untuk mengetahui informasi selengkapnya, lihat Menggunakan instance yang dipesan.

Untuk menggunakan reservasi, pekerja Dataflow harus cocok dengan konfigurasi reservasi. Anda mungkin perlu menyetel jenis mesin pekerja untuk tugas. Untuk mengetahui informasi selengkapnya, lihat Pekerja.

Batasan

  • Semua batasan pemesanan Compute Engine berlaku saat pekerja Dataflow menggunakan pemesanan. Lihat Cara kerja pemesanan.

  • Dataflow mengandalkan urutan penggunaan default di Compute Engine. Akibatnya, batasan berikut berlaku:

    • Workload lain dalam project atau Organisasi yang sama yang tidak menentukan flag --reservation dapat bersaing dengan workload Dataflow untuk mendapatkan reservasi spesifik per project atau bersama.

  • Tugas Dataflow Prime tidak menggunakan reservasi Compute Engine.

Reservasi dan akselerator

Dataflow mendukung reservasi yang ditargetkan secara khusus untuk pipeline yang menggunakan akselerator (GPU atau TPU). Fungsi ini umumnya tersedia dengan daftar yang diizinkan. Untuk mengetahui petunjuk tentang cara menggunakan akselerator Dataflow dengan reservasi tertentu, hubungi tim akun Anda.

Harga

Dataflow menagih Anda untuk VM dari reservasi yang dikonsumsi secara otomatis saat tugas Dataflow Anda berjalan. Saat Dataflow tidak menggunakan VM, Compute Engine akan menagih Anda.

Model harga Compute Engine

Jika penggunaan Dataflow Anda mencakup VM dari reservasi yang ditargetkan secara khusus yang memiliki GPU atau TPU, maka resource komputasi dari VM yang dipesan tersebut akan ditagih sesuai dengan Harga Compute Engine. Jika reservasi yang ditargetkan secara khusus dilampirkan ke komitmen berbasis resource Compute Engine, Anda juga akan menerima diskon abonemen (CUD) berbasis resource yang berlaku untuk penggunaan Anda. Anda juga ditagih biaya premium pengelolaan untuk resource komputasi yang digunakan di Dataflow. Untuk mengetahui detail harga selengkapnya, lihat Harga Dataflow.

Model harga Dataflow

Untuk jenis reservasi Compute Engine lainnya yang Anda gunakan dengan Dataflow, penggunaan Anda ditagih menggunakan model harga Dataflow. Penggunaan Dataflow dari pemesanan tersebut tidak memenuhi syarat untuk CUD berbasis resource, meskipun pemesanan tersebut dilampirkan ke komitmen berbasis resource. Hal ini berlaku untuk pemesanan Compute Engine berikut:

  • Pemesanan yang ditargetkan secara khusus yang tidak memiliki GPU atau TPU
  • Semua reservasi yang digunakan secara otomatis

Langkah berikutnya

Untuk mempelajari lebih lanjut reservasi Compute Engine, lihat Reservasi resource zona Compute Engine.