Cloud Dataflow 가격 책정

이 페이지에서는 Cloud Dataflow 가격 책정을 설명합니다. 다른 제품의 가격을 확인하려면 가격 책정 문서를 참조하세요.

가격 책정 개요

요율은 시간 단위를 사용하지만 Cloud Dataflow 서비스 사용량은 작업마다 초 단위로 청구됩니다. 초당 사용량에 시간당 요금을 적용하기 위해 사용량은 시간 단위(예: 30분은 0.5시간)로 표기됩니다. 다음 섹션에 설명된 것과 같이 작업자 및 작업이 리소스를 사용할 수 있습니다.

작업자 및 작업자 리소스

각 Cloud Dataflow 작업은 Cloud Dataflow 작업자를 1개 이상 사용합니다. Cloud Dataflow 서비스에서는 일괄 및 스트리밍 작업자 유형을 제공합니다. 일괄 및 스트리밍 작업자에는 각기 다른 서비스 요금이 책정됩니다.

Cloud Dataflow 작업자는 다음 리소스를 사용하며 각각의 리소스는 초 단위로 청구됩니다.

일괄 및 스트리밍 작업자는 Compute Engine을 사용하는 특수한 리소스입니다. 하지만 Cloud Dataflow 작업은 Cloud Dataflow 서비스로 관리하는 Compute Engine 리소스에 대한 Compute Engine 청구서를 발행하지 않습니다. Cloud Dataflow 서비스 청구에 이러한 Compute Engine 리소스 사용 요금이 포함됩니다.

작업의 기본 작업자 수를 재정의할 수 있습니다. 자동 확장을 사용하는 경우 작업에 할당되는 최대 작업자 수를 지정할 수 있습니다. 자동 확장이 작동하면 작업자와 그에 따른 리소스가 자동으로 추가 및 삭제됩니다.

또한 파이프라인 옵션을 사용하여 각 작업자에 할당되는 기본 리소스 설정(머신 유형, 디스크 유형, 디스크 크기)을 재정의할 수 있습니다.

Cloud Dataflow 서비스

Cloud Dataflow Shuffle 작업은 확장 가능하고 효율적이며 내결함성이 있는 방식으로 키를 사용해 데이터를 분할하고 그룹화합니다. 기본적으로 Cloud Dataflow는 작업자 가상 머신에서 전체적으로 실행되고 작업자 CPU, 메모리, Persistent Disk 저장소를 사용하는 셔플 구현을 사용합니다.

또한 Cloud Dataflow는 일괄 파이프라인에서만 사용할 수 있으며 작업자 외부의 데이터 셔플이 가능한 확장성이 높은 Cloud Dataflow Shuffle 기능(선택사항)을 제공합니다. Shuffle 비용은 처리된 데이터의 양에 따라 부과됩니다. Shuffle 파이프라인 매개변수를 지정하여 Cloud Dataflow에서 Shuffle 서비스를 사용하도록 지시할 수 있습니다.

Shuffle과 마찬가지로 Cloud Dataflow Streaming Engine은 스트리밍 셔플 및 상태 처리를 작업자 VM에서 Cloud Dataflow 서비스 백엔드로 이동시킵니다. Streaming Engine 파이프라인 매개변수를 지정하여 Cloud Dataflow에서 스트리밍 파이프라인을 위한 Streaming Engine을 사용하도록 지시할 수 있습니다. Streaming Engine 사용 요금은 처리된 스트리밍 데이터의 양에 따라 청구되며, 이는 스트리밍 파이프라인에 수집된 데이터 양과 파이프라인 단계의 복잡성 및 수에 따라 달라집니다. 처리된 바이트의 예로는 데이터 소스로부터의 입력 흐름, 하나의 통합된 파이프라인 단계에서 다른 통합 단계로의 데이터 흐름, 사용자 정의 상태로 유지되거나 기간 설정에 사용된 데이터 흐름, Cloud Pub/Sub 또는 BigQuery와 같은 데이터 싱크로의 출력 메시지 등이 있습니다.

Cloud Dataflow에는 일괄 처리용 CPU 및 메모리를 할인된 가격으로 제공하는 옵션도 있습니다. Flexible Resource Scheduling(FlexRS)을 사용하면 일반 및 선점형 VM이 단일 Cloud Dataflow 작업자 풀에 결합되어 사용자에게 더욱 저렴하게 처리 리소스를 제공할 수 있습니다. 또한 FlexRS는 일괄 Cloud Dataflow 작업의 실행을 6시간 내에서 지연시켜 사용 가능한 리소스를 바탕으로 작업을 시작하기에 가장 좋은 시점을 식별합니다. Cloud Dataflow에서 작업자 조합을 사용해 FlexRS 작업을 실행하지만 작업자 유형에 상관없이 일반 Cloud Dataflow 가격에 비해 할인된 일정한 요금이 청구됩니다. FlexRS 매개변수를 지정하면 자동 확장된 일괄 파이프라인에 FlexRS를 사용하도록 Cloud Dataflow에 지시할 수 있습니다.

추가 작업 리소스

작업자 리소스 사용량 외에도 작업 시 다음을 포함한 여러 리소스를 소비할 수 있으며 각각 자체 가격에 따라 요금이 청구됩니다.

가격 책정 세부정보

Cloud Dataflow의 향후 출시 버전에서는 다른 서비스 요금이 책정되거나 관련 서비스가 번들로 제공될 수도 있습니다.

사용 가능한 리전 및 영역에 대한 자세한 내용은 Compute Engine 리전 및 영역 페이지를 참조하세요.

아이오와(us-central1) 로스앤젤레스(us-west2) 오리건(us-west1) 북 버지니아(us-east4) 사우스캐롤라이나(us-east1) 몬트리올(northamerica-northeast1) 상파울루(southamerica-east1) 벨기에(europe-west1) 핀란드(europe-north1) 프랑크푸르트(europe-west3) 런던(europe-west2) 네덜란드(europe-west4) 취리히(europe-west6) 뭄바이(asia-south1) 싱가포르(asia-southeast1) 시드니(australia-southeast1) 홍콩(asia-east2) 타이완(asia-east1) 도쿄(asia-northeast1) 오사카(asia-northeast2)
Cloud Dataflow 작업자 유형 vCPU
(시간당)
메모리
(1GB당 시간별)
저장소 - 표준 Persistent Disk
(1GB당 시간별)
저장소 - SSD Persistent Disk
(1GB당 시간별)
처리된 데이터4,5
(1GB당)6
일괄1
FlexRS2
스트리밍3

USD 외의 통화로 지불하면 Cloud Platform SKU에 해당 통화로 표기된 가격이 적용됩니다.

1 일괄 작업자 기본값: vCPU 1개, 메모리 3.75GB, Persistent Disk 250GB

2 FlexRS 작업자 기본값: vCPU 2개, 메모리 7.50GB, 작업자당 Persistent Disk 25GB, 최소 작업자 2개

3 스트리밍 작업자 기본값: vCPU 4개, 메모리 15GB, Persistent Disk 420GB

4 Cloud Dataflow Shuffle은 현재 다음 리전의 일괄 파이프라인에 사용할 수 있습니다.

  • us-central1(아이오와)
  • europe-west1(벨기에)
  • europe-west4(네덜란드)
  • asia-northeast1(도쿄)

향후 다른 리전에서도 출시될 예정입니다.

5 Cloud Dataflow Streaming Engine은 처리된 스트리밍 데이터의 가격 책정 단위를 사용합니다. Streaming Engine은 현재 다음 리전에서 사용할 수 있습니다.

  • us-central1(아이오와)
  • europe-west1(벨기에)
  • asia-northeast1(도쿄)
  • europe-west4(네덜란드)
향후 다른 리전에서도 출시될 예정입니다.

6 2018년 5월 3일 이전에는 셔플한 데이터의 양과 데이터를 셔플하고 Shuffle 메모리에 보관하는 데 걸린 시간을 곱하여 Cloud Dataflow Shuffle 요금을 청구했습니다. 가격은 1GB당 1시간에 $0.0216였습니다. 2018년 5월 3일 이후에는 Cloud Dataflow 서비스 인프라에서 데이터세트를 셔플하는 중에 읽고 쓴 데이터의 양만을 기준으로 해서 Shuffle 가격이 책정됩니다. 가격 책정 단위는 GB이며 청구 고려사항에서 시간 요소가 제외됩니다. 데이터세트가 크거나 매우 큰 사용자는 총 Shuffle 비용을 크게 절감할 수 있습니다.
더 많은 사용자가 서비스 기반 Shuffle을 이용하도록 지원하기 위해, 처리된 Shuffle 데이터의 처음 5TB에는 50% 할인된 가격으로 요금이 부과됩니다. 예를 들어 파이프라인에서 실제 처리된 Shuffle 데이터가 1TB이면 이 데이터 양의 50%인 0.5TB에 대해서만 요금이 부과됩니다. 파이프라인에서 실제 처리된 Shuffle 데이터가 10TB이면 처리량의 처음 5TB에는 50% 할인된 가격으로 요금이 부과되므로 7.5TB에 대한 요금이 부과됩니다.

사용량 보기

Google Cloud Platform Console 또는 gcloud 명령줄 도구를 통해 작업에 연결된 총 vCPU, 메모리, Persistent Disk 리소스를 확인할 수 있습니다. 실제 처리된 청구 가능한 Shuffle 데이터와 스트리밍 데이터 측정항목은 Cloud Dataflow Monitoring 인터페이스에서 추적할 수 있습니다. 실제 처리된 Shuffle 데이터로 파이프라인의 성능을 평가하고, 청구 가능한 처리된 Shuffle 데이터로 Cloud Dataflow 작업의 비용을 확인할 수 있습니다. 처리된 스트리밍 데이터의 경우 실제 청구 가능한 측정항목은 동일합니다.

가격 계산기

Google Cloud Platform 가격 계산기를 사용하면 청구액이 어떻게 계산되었는지 이해할 수 있습니다.

이 페이지가 도움이 되었나요? 평가를 부탁드립니다.

다음에 대한 의견 보내기...

도움이 필요하시나요? 지원 페이지를 방문하세요.