Utilizzare le prenotazioni Compute Engine con Dataflow

Per assicurarti che le risorse VM siano disponibili quando i job Dataflow ne hanno bisogno, puoi utilizzare le prenotazioni Compute Engine. Le prenotazioni offrono un elevato livello di garanzia per l'ottenimento di capacità per le risorse di zona di Compute Engine.

Per utilizzare le prenotazioni Compute Engine con Dataflow, svolgi i seguenti passaggi:

  1. Crea una prenotazione Compute Engine. Può essere una prenotazione per un singolo progetto o una prenotazione condivisa. Per ulteriori informazioni, consulta i seguenti documenti:

    La prenotazione può includere acceleratori GPU.

  2. Quando invii il job Dataflow, passa una delle seguenti opzioni di servizio, a seconda della versione dell'SDK Beam in uso:

    • Versione Beam < 2.29: --experiments=skip_gce_quota_verification
    • Versione di Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Per impedire ai carichi di lavoro a bassa priorità nello stesso progetto di competere per le prenotazioni con Dataflow, imposta l'affinità di prenotazione su none quando crei VM per questi carichi di lavoro. Per ulteriori informazioni, consulta Utilizzare le istanze riservate.

Per utilizzare la prenotazione, i worker di Dataflow devono corrispondere alla configurazione della prenotazione. Potresti dover impostare il tipo di macchina del worker per il job. Per saperne di più, consulta Lavoratori.

Limitazioni

  • Quando i worker Dataflow utilizzano le prenotazioni, si applicano tutte le limitazioni delle prenotazioni Compute Engine. Consulta Come funzionano le prenotazioni.

  • Dataflow si basa sull'ordine di consumo predefinito in Compute Engine. Di conseguenza, si applicano le seguenti limitazioni:

    • Dataflow non utilizza una prenotazione creata con il flag --require-specific-reservation.
    • Altri carichi di lavoro nello stesso progetto o nella stessa organizzazione che non specificano il flag --reservation potrebbero competere con i carichi di lavoro di Dataflow per le prenotazioni specifiche del progetto o condivise.

  • I job Dataflow Prime non utilizzano le prenotazioni di Compute Engine.

Prezzi

Le VM Compute Engine riservate vengono fatturate da Dataflow mentre il job Dataflow è in esecuzione e da Compute Engine quando le VM non sono in uso da Dataflow.

Se utilizzi le prenotazioni Compute Engine con Dataflow, queste risorse riservate non sono idonee per gli sconti per impegno di utilizzo di Compute Engine. L'utilizzo viene fatturato utilizzando il modello di prezzi di Dataflow.

Passaggi successivi

Per scoprire di più sulle prenotazioni di Compute Engine, consulta la pagina relativa alle prenotazioni di risorse di zona di Compute Engine.