Cloud Data Fusion의 프로비저닝 도구

프로비저닝 도구는 파이프라인이 실행되는 클라우드 클러스터를 만들고 해체하는 작업을 담당합니다. 다양한 프로비저닝 도구로 여러 가지 클라우드에서 서로 다른 유형의 클러스터를 만들 수 있습니다.

각 프로비저닝 도구는 실행을 위해 생성되는 클러스터의 유형을 제어하는 구성 설정 집합을 노출합니다. 예를 들어 Dataproc 및 Amazon EMR 프로비저닝 도구에는 클러스터 크기 설정이 있습니다. 프로비저닝 도구에는 개별 클라우드와 통신하고 필요한 컴퓨팅 노드를 프로비저닝하는 데 필요한 사용자 인증 정보에 대한 설정도 있습니다.

Cloud Data Fusion에서 지원되는 프로비저닝 도구

Cloud Data Fusion은 다음 프로비저닝 도구를 지원합니다.

Dataproc

Apache Spark 및 Apache Hadoop 클러스터를 실행하는 빠르고 사용하기 쉬운 완전 관리형 클라우드 서비스입니다.

Amazon Elastic MapReduce(EMR)

동적으로 확장 가능한 Amazon EC2 인스턴스에서 대량의 데이터를 처리하는 관리형 Hadoop 프레임워크를 제공합니다.

원격 Hadoop

온프레미스 또는 클라우드의 기존 Hadoop 클러스터에서 작업을 실행합니다.