Use reservas do Compute Engine com o Dataflow

Para garantir que os recursos de VM estão disponíveis quando os seus trabalhos do Dataflow precisam deles, pode usar reservas do Compute Engine. As reservas oferecem um elevado nível de garantia na obtenção de capacidade para recursos zonais do Compute Engine.

Para usar reservas do Compute Engine com o Dataflow, siga os passos seguintes:

  1. Crie uma reserva do Compute Engine. Pode ser uma reserva de projeto único ou uma reserva partilhada. Para mais informações, consulte os seguintes documentos:

    A reserva pode incluir aceleradores de GPU ou TPU.

  2. Quando envia a tarefa do Dataflow, transmita uma das seguintes opções de serviço, consoante a versão do Beam SDK que estiver a usar:

    • Versão do Beam inferior a 2.29: --experiments=skip_gce_quota_verification
    • Versão do Beam >= 2.29: --dataflow_service_options=automatically_use_created_reservation

Para impedir que as cargas de trabalho de baixa prioridade no mesmo projeto concorram por reservas com o Dataflow, defina a afinidade de reserva para none quando criar VMs para essas cargas de trabalho. Para mais informações, consulte o artigo Usar instâncias reservadas.

Para usar a reserva, os trabalhadores do Dataflow têm de corresponder à configuração da reserva. Pode ter de definir o tipo de máquina de trabalho para a tarefa. Para mais informações, consulte o artigo Trabalhadores.

Limitações

  • Todas as limitações das reservas do Compute Engine aplicam-se quando os trabalhadores do Dataflow consomem reservas. Veja Como funcionam as reservas.

  • O Dataflow baseia-se na ordem de consumo predefinida no Compute Engine. Como tal, aplicam-se as seguintes limitações:

    • Outras cargas de trabalho no mesmo projeto ou organização que não especifiquem a flag --reservation podem competir com as cargas de trabalho do Dataflow por reservas específicas do projeto ou partilhadas.

  • As tarefas do Dataflow Prime não consomem reservas do Compute Engine.

Reservas e aceleradores

O Dataflow suporta reservas especificamente segmentadas para pipelines que usam aceleradores (GPUs ou TPUs). Esta funcionalidade está geralmente disponível com uma lista de autorizações. Para obter instruções sobre a utilização de aceleradores do Dataflow com reservas específicas, contacte a equipa da sua conta.

Preços

O Dataflow fatura-lhe as VMs das reservas consumidas automaticamente enquanto a tarefa do Dataflow é executada. Quando o Dataflow não está a usar as VMs, o Compute Engine fatura-lhe.

Modelo de preços do Compute Engine

Se a sua utilização do Dataflow incluir VMs de reservas especificamente segmentadas com GPUs ou TPUs, os recursos de computação dessas VMs reservadas são faturados de acordo com os preços do Compute Engine. Se as suas reservas especificamente segmentadas estiverem associadas a um compromisso baseado em recursos do Compute Engine, também recebe descontos por utilização comprometida (CUDs) baseados em recursos aplicáveis à sua utilização. Também lhe é faturado um prémio de gestão pelos recursos de computação consumidos no Dataflow. Para mais detalhes sobre os preços, consulte a secção Preços do Dataflow.

Modelo de preços do Dataflow

Para qualquer outro tipo de reservas do Compute Engine que use com o Dataflow, a sua utilização é faturada através do modelo de preços do Dataflow. A utilização do Dataflow a partir dessas reservas não é elegível para CUDs baseados em recursos, mesmo que essas reservas estejam anexadas a um compromisso baseado em recursos. Isto aplica-se às seguintes reservas do Compute Engine:

  • Reservas especificamente segmentadas que não têm GPUs nem TPUs
  • Todas as reservas consumidas automaticamente

O que se segue?

Para saber mais sobre as reservas do Compute Engine, consulte o artigo Reservas de recursos zonais do Compute Engine.