Utiliser des réservations Compute Engine avec Dataflow

Pour vous assurer que des ressources de VM sont disponibles lorsque vos jobs Dataflow en ont besoin, vous pouvez utiliser des réservations Compute Engine. Les réservations offrent un niveau élevé d'assurance pour l'obtention de la capacité des ressources zonales Compute Engine.

Pour utiliser des réservations Compute Engine avec Dataflow, procédez comme suit :

1. Créez une réservation Compute Engine. Il peut s'agir d'une réservation à projet unique ou d'une réservation partagée. Pour en savoir plus, consultez les documents suivants :

   • Créer une réservation pour un seul projet
   • Créer une réservation partagée

   La réservation peut inclure des accélérateurs de GPU.

2. Lorsque vous envoyez votre job Dataflow, transmettez l'une des options de service suivantes, en fonction de la version du SDK Beam que vous utilisez :

   • Beam version < 2.29 : --experiments=skip_gce_quota_verification
   • Beam version >= 2.29 : --dataflow_service_options=automatically_use_created_reservation

Pour éviter que les charges de travail de faible priorité du même projet n'entrent en concurrence avec Dataflow pour les réservations, définissez l'affinité de réservation sur none lorsque vous créez des VM pour ces charges de travail. Pour en savoir plus, consultez la section Consommer des instances réservées.

Pour utiliser la réservation, les nœuds de calcul Dataflow doivent correspondre à la configuration de la réservation. Vous devrez peut-être définir le type de machine des nœuds de calcul pour le job. Pour plus d'informations, consultez la section Nœuds de calcul.

Limites

Toutes les limites des réservations Compute Engine s'appliquent lorsque les nœuds de calcul Dataflow consomment des réservations. Consultez la section Fonctionnement des réservations.

En outre, Dataflow s'appuie sur l'ordre d'utilisation par défaut dans Compute Engine. Par conséquent, les limites suivantes s'appliquent :

• Dataflow ne consomme pas de réservation créée avec l'option --require-specific-reservation.
• Les autres charges de travail du même projet ou de la même organisation qui ne spécifient pas l'option --reservation peuvent être en concurrence avec les charges de travail Dataflow pour les réservations spécifiques à un projet ou partagées.
• Les jobs Dataflow Prime ne consomment pas de réservations Compute Engine.

Tarifs

Les VM Compute Engine réservées sont facturées par Dataflow pendant l'exécution du job Dataflow et sont facturées par Compute Engine lorsque les VM ne sont pas utilisées par Dataflow.

Étapes suivantes

Pour en savoir plus sur les réservations Compute Engine, consultez la section Réservations de ressources zonales Compute Engine.