Compute Engine-Reservierungen mit Dataflow verwenden

Um sicherzustellen, dass VM-Ressourcen verfügbar sind, wenn Ihre Dataflow-Jobs sie benötigen, können Sie Compute Engine-Reservierungen verwenden. Reservierungen bieten ein hohes Maß an Sicherheit beim Beschaffen von Kapazitäten für zonale Ressourcen von Compute Engine.

Führen Sie die folgenden Schritte aus, um Compute Engine-Reservierungen mit Dataflow zu verwenden:

  1. Erstellen Sie eine Compute Engine-Reservierung. Es kann sich um eine Reservierung für ein einzelnes Projekt oder eine freigegebene Reservierung handeln. Weitere Informationen finden Sie in folgenden Dokumenten:

    Die Reservierung kann GPU-Beschleuniger enthalten.

  2. Übergeben Sie beim Senden Ihres Dataflow-Jobs je nach verwendeter Version des Beam SDK eine der folgenden Dienstoptionen:

    • Beam-Version < 2.29: --experiments=skip_gce_quota_verification
    • Beam-Version >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Damit Arbeitslasten mit niedriger Priorität im selben Projekt nicht mit Reservierungen für Dataflow konkurrieren, legen Sie die Reservierungsaffinität auf none fest, wenn Sie für diese Arbeitslasten VMs erstellen. Weitere Informationen finden Sie unter Reservierte Instanzen nutzen.

Damit die Reservierung verwendet werden kann, muss der Dataflow-Worker der Reservierungskonfiguration entsprechen. Möglicherweise müssen Sie den Worker-Maschinentyp für den Job festlegen. Weitere Informationen finden Sie unter Worker.

Beschränkungen

  • Alle Einschränkungen von Compute Engine-Reservierungen gelten, wenn Dataflow-Worker Reservierungen nutzen. Siehe Funktionsweise von Reservierungen.

  • Dataflow basiert auf der Standardnutzungsreihenfolge in der Compute Engine. Deshalb gelten folgende Einschränkungen:

    • Dataflow nutzt keine Reservierung, die mit dem Flag --require-specific-reservation erstellt wurde.
    • Andere Arbeitslasten im selben Projekt oder in derselben Organisation, die das Flag --reservation nicht angeben, können mit Dataflow-Arbeitslasten um projektspezifische oder freigegebene Reservierungen konkurrieren.

  • Dataflow Prime-Jobs verbrauchen keine Compute Engine-Reservierungen.

Preise

Reservierte Compute Engine-VMs werden von Dataflow während der Ausführung des Dataflow-Jobs in Rechnung gestellt. Compute Engine wird abgerechnet, wenn die VMs nicht von Dataflow verwendet werden.

Wenn Sie Ihre Compute Engine-Reservierungen mit Dataflow verwenden, kommen diese reservierten Ressourcen nicht für Rabatte für die zugesicherte Nutzung der Compute Engine infrage. Die Nutzung wird nach dem Dataflow-Preismodell abgerechnet.

Nächste Schritte

Weitere Informationen zu Compute Engine-Reservierungen finden Sie unter Reservierungen von zonalen Compute Engine-Ressourcen.