Cloud Data Fusion のプロビジョナー

プロビジョナーは、パイプラインが実行されるクラウド クラスタの作成と破棄を担います。異なるプロビジョナーによって、さまざまなクラウドにさまざまなタイプのクラスタを作成できます。

各プロビジョナーは、実行用に作成されるクラスタのタイプを制御する一連の構成設定を公開します。たとえば、Dataproc プロビジョナーと Amazon EMR プロビジョナーにはクラスタサイズの設定があります。プロビジョナーには、それぞれのクラウドと通信し、必要なコンピューティング ノードをプロビジョニングするために必要な認証情報の設定もあります。

Cloud Data Fusion でサポートされているプロビジョナー

Cloud Data Fusion は、次のプロビジョナーをサポートしています。

Dataproc

Apache Spark クラスタと Apache Hadoop クラスタを実行するための、高速かつ容易に使用可能なフルマネージド クラウド サービス。

Amazon Elastic MapReduce（EMR）

動的にスケーラブルな Amazon EC2 インスタンス全体で膨大な量のデータを処理するマネージド Hadoop フレームワークを備えています。

リモート Hadoop

オンプレミスまたはクラウドの既存の Hadoop クラスタでジョブを実行します。