프로비저닝 도구는 파이프라인이 실행되는 클라우드 클러스터를 만들고 해체하는 작업을 담당합니다. 다양한 프로비저닝 도구로 여러 가지 클라우드에서 서로 다른 유형의 클러스터를 만들 수 있습니다.
각 프로비저닝 도구는 실행을 위해 생성되는 클러스터의 유형을 제어하는 구성 설정 집합을 노출합니다. 예를 들어 Dataproc 및 Amazon EMR 프로비저닝 도구에는 클러스터 크기 설정이 있습니다. 프로비저닝 도구에는 개별 클라우드와 통신하고 필요한 컴퓨팅 노드를 프로비저닝하는 데 필요한 사용자 인증 정보에 대한 설정도 있습니다.
Cloud Data Fusion에서 지원되는 프로비저닝 도구
Cloud Data Fusion은 다음 프로비저닝 도구를 지원합니다.
- Dataproc
- Apache Spark 및 Apache Hadoop 클러스터를 실행하는 빠르고 사용하기 쉬운 완전 관리형 클라우드 서비스입니다.
- Amazon Elastic MapReduce(EMR)
- 동적으로 확장 가능한 Amazon EC2 인스턴스에서 대량의 데이터를 처리하는 관리형 Hadoop 프레임워크를 제공합니다.
- 원격 Hadoop
- 온프레미스 또는 클라우드의 기존 Hadoop 클러스터에서 작업을 실행합니다.