Dataflow에서 Compute Engine 예약 사용

Compute Engine 예약을 사용하면 Dataflow 작업에 필요할 때 VM 리소스를 사용할 수 있도록 보장할 수 있습니다. 예약을 이용하면 높은 수준의 확신으로 Compute Engine 영역별 리소스의 용량을 확보할 수 있습니다.

Dataflow에서 Compute Engine 예약을 사용하려면 다음 단계를 따르세요.

  1. Compute Engine 예약을 만듭니다. 이 예약은 단일 프로젝트 예약 또는 공유 예약일 수 있습니다. 자세한 내용은 다음 문서를 참조하세요.

    예약에는 GPU 또는 TPU 가속기가 포함될 수 있습니다.

  2. Dataflow 작업을 제출할 때 사용 중인 Beam SDK 버전에 따라 다음 서비스 옵션 중 하나를 전달합니다.

    • Beam 버전 2.29 미만: --experiments=skip_gce_quota_verification
    • Beam 버전 2.29 이상: --dataflow_service_options=automatically_use_created_reservation

동일한 프로젝트의 우선순위가 낮은 워크로드가 Dataflow와 예약을 경쟁하지 않도록 하려면 이러한 워크로드에 대해 VM을 만들 때 예약 어피니티를 none으로 설정합니다. 자세한 내용은 예약된 인스턴스 사용을 참조하세요.

예약을 사용하려면 Dataflow 작업자가 예약 구성과 일치해야 합니다. 작업의 작업자 머신 유형을 설정해야 할 수 있습니다. 자세한 내용은 작업자를 참조하세요.

제한사항

  • Dataflow 작업자에 예약이 사용될 때는 Compute Engine 예약의 모든 제한사항이 적용됩니다. 자세한 내용은 예약 작동 방식을 참조하세요.

  • Dataflow는 Compute Engine의 기본 사용 순서를 사용합니다. 따라서 다음과 같은 제한사항이 적용됩니다.

    • --reservation 플래그를 지정하지 않는 동일한 프로젝트 또는 조직의 다른 워크로드는 프로젝트별 또는 공유 예약을 위해 Dataflow 워크로드와 경쟁할 수 있습니다.

  • Dataflow Prime 작업은 Compute Engine 예약을 사용하지 않습니다.

예약 및 가속기

Dataflow는 가속기(GPU 또는 TPU)를 사용하는 파이프라인에 대해 구체적으로 타겟팅된 예약을 지원합니다. 이 기능은 일반적으로 허용 목록을 통해 사용할 수 있습니다. 특정 예약으로 Dataflow 액셀러레이터를 사용하는 방법에 관한 안내는 계정팀에 문의하세요.

가격 책정

Dataflow 작업이 실행되는 동안 Dataflow는 자동으로 사용되는 예약의 VM에 대해 청구합니다. Dataflow에서 VM을 사용하지 않으면 Compute Engine에서 요금을 청구합니다.

Compute Engine 가격 모델

Dataflow 사용량에 GPU 또는 TPU가 있는 구체적으로 타겟팅된 예약의 VM이 포함된 경우 예약된 VM의 컴퓨팅 리소스는 Compute Engine 가격에 따라 청구됩니다. 구체적으로 타겟팅된 예약이 Compute Engine 리소스 기반 약정에 연결된 경우 사용량에 적용되는 리소스 기반 약정 사용 할인(CUD)도 받게 됩니다. Dataflow에서 사용된 컴퓨팅 리소스에 대한 관리 프리미엄도 청구됩니다. 자세한 가격 정보는 Dataflow 가격 책정을 참고하세요.

Dataflow 가격 책정 모델

Dataflow와 함께 사용하는 다른 유형의 Compute Engine 예약의 경우 Dataflow 가격 책정 모델을 사용하여 사용량이 청구됩니다. 이러한 예약의 Dataflow 사용량은 리소스 기반 약정에 연결되어 있더라도 리소스 기반 CUD를 사용할 수 없습니다. 이는 다음 Compute Engine 예약에 적용됩니다.

  • GPU 또는 TPU가 없는 구체적으로 타겟팅된 예약
  • 모든 자동으로 사용되는 예약

다음 단계

Compute Engine 예약에 대한 자세한 내용은 Compute Engine 영역 리소스 예약 참고하기