Dataflow에서 Compute Engine 예약 사용

Dataflow 작업에 VM 리소스가 필요할 때 이를 사용할 수 있도록 Compute Engine 예약을 사용할 수 있습니다. 예약을 이용하면 높은 수준의 확신으로 Compute Engine 영역별 리소스의 용량을 확보할 수 있습니다.

Dataflow에서 Compute Engine 예약을 사용하려면 다음 단계를 수행합니다.

Compute Engine 예약을 생성합니다. 단일 프로젝트 예약 또는 공유 예약일 수 있습니다. 자세한 내용은 다음 문서를 참조하세요.
- 단일 프로젝트에 대한 예약 만들기
- 공유 예약 만들기
예약에는 GPU 가속기가 포함될 수 있습니다.
Dataflow 작업을 제출할 때 사용 중인 Beam SDK 버전에 따라 다음 서비스 옵션 중 하나를 전달합니다.
- Beam 버전 2.29 미만: --experiments=skip_gce_quota_verification
- Beam 버전 2.29 이상: --dataflow_service_options=automatically_use_created_reservation

동일한 프로젝트의 우선순위가 낮은 워크로드가 Dataflow와 예약을 경쟁하지 않도록 하려면 이러한 워크로드에 대해 VM을 만들 때 예약 어피니티를 none으로 설정합니다. 자세한 내용은 예약 인스턴스 사용을 참조하세요.

예약을 사용하려면 Dataflow 작업자가 예약 구성과 일치해야 합니다. 작업에 작업자 머신 유형을 설정해야 할 수도 있습니다. 자세한 내용은 작업자를 참조하세요.

제한사항

Dataflow 작업자가 예약을 사용하면 Compute Engine 예약의 모든 제한사항이 적용됩니다. 자세한 내용은 예약 작동 방식을 참조하세요.

또한 Dataflow는 Compute Engine의 기본 사용 순서를 사용합니다. 따라서 다음과 같은 제한사항이 적용됩니다.

Dataflow는 --require-specific-reservation 플래그로 생성된 예약을 사용하지 않습니다.
--reservation 플래그를 지정하지 않는 동일한 프로젝트 또는 조직의 다른 워크로드는 프로젝트별 또는 공유 예약을 위해 Dataflow 워크로드와 경합할 수 있습니다.
Dataflow Prime 작업은 Compute Engine 예약을 사용하지 않습니다.

예약된 Compute Engine VM은 Dataflow 작업이 실행되는 동안 Dataflow에서 청구되며 VM이 Dataflow에서 사용되지 않을 때는 Compute Engine에서 청구됩니다.

Compute Engine 예약에 대한 자세한 내용은 Compute Engine 영역 리소스 예약을 참조하세요.