Utilizzare le prenotazioni Compute Engine con Dataflow

Per assicurarti che le risorse VM siano disponibili quando i job Dataflow ne hanno bisogno, puoi utilizzare le prenotazioni di Compute Engine. Le prenotazioni offrono un elevato livello di garanzia per l'ottenimento di capacità per le risorse di zona di Compute Engine.

Per utilizzare le prenotazioni Compute Engine con Dataflow, segui questi passaggi:

  1. Crea una prenotazione Compute Engine. Può trattarsi di una prenotazione per un singolo progetto o di una prenotazione condivisa. Per saperne di più, consulta i seguenti documenti:

    La prenotazione può includere acceleratori GPU o TPU.

  2. Quando invii il job Dataflow, passa una delle seguenti opzioni di servizio, a seconda della versione dell'SDK Beam che stai utilizzando:

    • Beam versione < 2.29: --experiments=skip_gce_quota_verification
    • Versione di Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Per evitare che i workload a bassa priorità nello stesso progetto competano per le prenotazioni con Dataflow, imposta l'affinità di prenotazione su none quando crei VM per questi workload. Per saperne di più, consulta Utilizzo delle istanze riservate.

Per utilizzare la prenotazione, i worker Dataflow devono corrispondere alla configurazione della prenotazione. Potresti dover impostare il tipo di macchina worker per il job. Per saperne di più, vedi Worker.

Limitazioni

  • Tutte le limitazioni delle prenotazioni di Compute Engine si applicano quando i worker Dataflow utilizzano le prenotazioni. Consulta Come funzionano le prenotazioni.

  • Dataflow si basa sull'ordine di consumo predefinito in Compute Engine. Di conseguenza, si applicano le seguenti limitazioni:

    • Altri workload nello stesso progetto o organizzazione che non specificano il flag --reservation potrebbero competere con i workload Dataflow per prenotazioni specifiche del progetto o condivise.

  • I job Dataflow Prime non utilizzano le prenotazioni di Compute Engine.

Prenotazioni e acceleratori

Dataflow supporta le prenotazioni specificamente mirateper le pipeline che utilizzano acceleratori (GPU o TPU). Questa funzionalità è generalmente disponibile con una lista consentita. Per istruzioni sull'utilizzo degli acceleratori Dataflow con prenotazioni specifiche, contatta il team dedicato al tuo account.

Prezzi

Dataflow ti addebita le VM dalle prenotazioni consumate automaticamente durante l'esecuzione del job Dataflow. Quando Dataflow non utilizza le VM, Compute Engine ti addebita i costi.

Modello di prezzi di Compute Engine

Se il tuo utilizzo di Dataflow include VM provenienti da prenotazioni specificamente mirate che dispongono di GPU o TPU, le risorse di calcolo di queste VM prenotate vengono fatturate in base ai prezzi di Compute Engine. Se le prenotazioni con target specifico sono collegate a un impegno basato sulle risorse di Compute Engine, ricevi anche gli sconti per impegno di utilizzo (CUD) basati sulle risorse applicabili per il tuo utilizzo. Ti viene addebitato anche un premio di gestione per le risorse di computing utilizzate in Dataflow. Per ulteriori dettagli sui prezzi, consulta Prezzi di Dataflow.

Modello di prezzi di Dataflow

Per qualsiasi altro tipo di prenotazione di Compute Engine che utilizzi con Dataflow, l'utilizzo viene fatturato utilizzando il modello di prezzi di Dataflow. L'utilizzo di Dataflow da queste prenotazioni non è idoneo per i CUD basati sulle risorse, anche se queste prenotazioni sono collegate a un impegno basato sulle risorse. Ciò vale per le seguenti prenotazioni di Compute Engine:

  • Prenotazioni con target specifico che non dispongono di GPU o TPU
  • Tutte le prenotazioni consumate automaticamente

Passaggi successivi

Per saperne di più sulle prenotazioni di Compute Engine, consulta Prenotazioni di risorse di zona di Compute Engine.