Menggunakan reservasi Compute Engine dengan Dataflow

Untuk memastikan resource VM tersedia saat tugas Dataflow membutuhkannya, Anda dapat menggunakan reservasi Compute Engine. Reservasi memberikan jaminan tingkat tinggi dalam memperoleh kapasitas untuk resource zona Compute Engine.

Untuk menggunakan pemesanan Compute Engine dengan Dataflow, lakukan langkah-langkah berikut:

  1. Buat pemesanan Compute Engine. Hal ini bisa berupa reservasi satu project atau reservasi bersama. Untuk informasi lebih lanjut, lihat dokumen berikut:

    Reservasi dapat mencakup akselerator GPU.

  2. Saat Anda mengirimkan tugas Dataflow, teruskan salah satu opsi layanan berikut, bergantung pada versi Beam SDK yang Anda gunakan:

    • Versi Beam < 2.29: --experiments=skip_gce_quota_verification
    • Versi Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Untuk mencegah workload prioritas rendah dalam project yang sama bersaing untuk reservasi dengan Dataflow, tetapkan afinitas reservasi ke none saat Anda membuat VM untuk beban kerja tersebut. Untuk mengetahui informasi selengkapnya, lihat Menggunakan instance yang dicadangkan.

Untuk menggunakan reservasi, pekerja Dataflow harus cocok dengan konfigurasi reservasi. Anda mungkin perlu menyetel jenis mesin pekerja untuk tugas tersebut. Untuk informasi selengkapnya, lihat Pekerja.

Batasan

Semua batasan reservasi Compute Engine berlaku saat pekerja Dataflow menggunakan reservasi. Lihat Cara kerja reservasi.

Selain itu, Dataflow bergantung pada urutan konsumsi default di Compute Engine. Oleh karena itu, batasan berikut berlaku:

  • Dataflow tidak menggunakan reservasi yang dibuat dengan flag --require-specific-reservation.
  • Workload lain dalam project atau Organisasi yang sama yang tidak menentukan flag --reservation mungkin bersaing dengan beban kerja Dataflow untuk reservasi khusus project atau bersama.
  • Tugas Dataflow Prime tidak menggunakan reservasi Compute Engine.

Harga

VM Compute Engine yang dicadangkan ditagih oleh Dataflow saat tugas Dataflow berjalan, dan ditagih oleh Compute Engine saat VM tidak digunakan oleh Dataflow.

Langkah selanjutnya

Untuk mempelajari reservasi Compute Engine lebih lanjut, lihat Reservasi resource zona Compute Engine.