Utilizza le prenotazioni di Compute Engine con Dataflow

Per garantire che le risorse delle VM siano disponibili quando i job Dataflow ne hanno bisogno, puoi utilizzare le prenotazioni di Compute Engine. Le prenotazioni forniscono un elevato livello di garanzia nell'ottenimento di capacità per le risorse di zona di Compute Engine.

Per utilizzare le prenotazioni di Compute Engine con Dataflow, segui questi passaggi:

1. Creare una prenotazione Compute Engine. Può essere una prenotazione per singolo progetto o una prenotazione condivisa. Per ulteriori informazioni, consulta i seguenti documenti:

   • Crea una prenotazione per un singolo progetto
   • Creare una prenotazione condivisa

   La prenotazione può includere acceleratori GPU.

2. Quando invii il job Dataflow, passa una delle seguenti opzioni di servizio, a seconda della versione dell'SDK Beam che stai utilizzando:

   • Versione Beam < 2.29: --experiments=skip_gce_quota_verification
   • Versione Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Per impedire ai carichi di lavoro a bassa priorità nello stesso progetto di competere per le prenotazioni con Dataflow, imposta l'affinità di prenotazione su none quando crei VM per questi carichi di lavoro. Per maggiori informazioni, consulta Utilizzo di istanze riservate.

Per utilizzare la prenotazione, i worker Dataflow devono corrispondere alla configurazione della prenotazione. Potresti dover impostare il tipo di macchina worker per il job. Per ulteriori informazioni, consulta la sezione Worker.

Limitazioni

Tutte le limitazioni delle prenotazioni di Compute Engine si applicano quando i worker Dataflow utilizzano le prenotazioni. Vedi Come funzionano le prenotazioni.

Inoltre, Dataflow si basa sull'ordine di consumo predefinito in Compute Engine. Di conseguenza, si applicano le seguenti limitazioni:

• Dataflow non utilizza una prenotazione creata con il flag --require-specific-reservation.
• Altri carichi di lavoro nello stesso progetto o nella stessa organizzazione che non specificano il flag --reservation potrebbero competere con i carichi di lavoro Dataflow per prenotazioni specifiche o condivise per progetto.
• I job Dataflow Prime non consumano le prenotazioni di Compute Engine.

Prezzi

Le VM di Compute Engine riservate vengono fatturate da Dataflow mentre il job di Dataflow è in esecuzione, mentre Compute Engine quando le VM non sono utilizzate da Dataflow.

Passaggi successivi

Per saperne di più sulle prenotazioni di Compute Engine, consulta Prenotazioni di risorse di zona di Compute Engine.