Menggunakan reservasi Compute Engine dengan Dataflow

Untuk memastikan bahwa resource VM tersedia saat tugas Dataflow memerlukannya, Anda dapat menggunakan reservasi Compute Engine. Pemesanan memberikan tingkat jaminan yang tinggi dalam mendapatkan kapasitas untuk resource zona Compute Engine.

Untuk menggunakan reservasi Compute Engine dengan Dataflow, lakukan langkah-langkah berikut:

  1. Buat reservasi Compute Engine. Pemesanan dapat berupa pemesanan satu project atau pemesanan bersama. Untuk informasi selengkapnya, lihat dokumen berikut:

    Reservasi dapat mencakup akselerator GPU.

  2. Saat Anda mengirimkan tugas Dataflow, teruskan salah satu opsi layanan berikut, bergantung pada versi Beam SDK yang Anda gunakan:

    • Versi Beam < 2.29: --experiments=skip_gce_quota_verification
    • Versi Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Untuk mencegah workload prioritas rendah di project yang sama bersaing untuk pemesanan dengan Dataflow, tetapkan afinitas reservasi ke none saat Anda membuat VM untuk workload tersebut. Untuk informasi selengkapnya, lihat Menggunakan instance yang direservasi.

Untuk menggunakan reservasi, pekerja Dataflow harus cocok dengan konfigurasi reservasi. Anda mungkin perlu menetapkan jenis mesin pekerja untuk tugas. Untuk informasi selengkapnya, lihat Pekerja.

Batasan

  • Semua batasan reservasi Compute Engine berlaku saat pekerja Dataflow menggunakan reservasi. Lihat Cara kerja pemesanan.

  • Dataflow mengandalkan urutan penggunaan default di Compute Engine. Oleh karena itu, batasan berikut berlaku:

    • Dataflow tidak menggunakan reservasi yang dibuat dengan flag --require-specific-reservation.
    • Workload lain dalam project atau Organisasi yang sama yang tidak menentukan flag --reservation dapat bersaing dengan workload Dataflow untuk reservasi khusus project atau bersama.

  • Tugas Dataflow Prime tidak menggunakan reservasi Compute Engine.

Harga

VM Compute Engine yang direservasi ditagih oleh Dataflow saat tugas Dataflow berjalan, dan ditagih oleh Compute Engine saat VM tidak digunakan oleh Dataflow.

Jika Anda menggunakan reservasi Compute Engine dengan Dataflow, resource yang direservasi tersebut tidak memenuhi syarat untuk diskon abonemen Compute Engine. Penggunaan ditagih menggunakan model harga Dataflow.

Langkah selanjutnya

Untuk mempelajari reservasi Compute Engine lebih lanjut, lihat Pemesanan resource zona Compute Engine.