Usa le prenotazioni Compute Engine con Dataflow

Per assicurarti che le risorse VM siano disponibili quando i job Dataflow ne hanno bisogno, puoi utilizzare le prenotazioni Compute Engine. Le prenotazioni offrono un alto livello di garanzia nell'ottenimento di capacità per Compute Engine a livello di zona Google Cloud.

Per utilizzare le prenotazioni Compute Engine con Dataflow, esegui seguenti passaggi:

  1. Crea una prenotazione Compute Engine. Può essere una prenotazione per un singolo progetto o una prenotazione condivisa. Per ulteriori informazioni, consulta i seguenti documenti:

    La prenotazione può includere acceleratori GPU.

  2. Quando invii il tuo job Dataflow, passa uno dei seguenti requisiti: delle opzioni di servizio, a seconda della versione dell'SDK Beam in uso:

    • Versione Beam < 2,29: --experiments=skip_gce_quota_verification
    • Versione Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Per evitare che i carichi di lavoro a bassa priorità nello stesso progetto competano per con Dataflow, imposta l'affinità di prenotazione su none quando crei VM per questi carichi di lavoro. Per ulteriori informazioni, consulta Utilizzare le istanze riservate.

Per utilizzare la prenotazione, i worker di Dataflow devono corrispondere alla configurazione della prenotazione. Potresti dover impostare il tipo di macchina del worker per il job. Per ulteriori informazioni, vedi Lavoratori.

Limitazioni

  • Quando i worker Dataflow utilizzano le prenotazioni, si applicano tutte le limitazioni delle prenotazioni Compute Engine. Consulta Come funzionano le prenotazioni.

  • Dataflow si basa ordine di consumo predefinito in Compute Engine. Di conseguenza, si applicano le seguenti limitazioni:

    • Dataflow non utilizza una prenotazione creata con il flag --require-specific-reservation.
    • Altri carichi di lavoro nello stesso progetto o nella stessa organizzazione che non specificano il flag --reservation potrebbero competere con i carichi di lavoro di Dataflow per le prenotazioni specifiche del progetto o condivise.

  • I job Dataflow Prime non consumano prenotazioni di Compute Engine.

Prezzi

Le VM Compute Engine riservate vengono fatturate da Dataflow mentre il job Dataflow è in esecuzione e da Compute Engine quando le VM non sono in uso da Dataflow.

Se utilizzi le prenotazioni Compute Engine con Dataflow, le risorse prenotate non sono idonee Sconti per impegno di utilizzo di Compute Engine. L'utilizzo viene fatturato utilizzando il modello di prezzi di Dataflow.

Passaggi successivi

Per scoprire di più sulle prenotazioni di Compute Engine, consulta Prenotazioni delle risorse zonali di Compute Engine.