Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Un provisionneur est chargé de créer et de détruire le cluster cloud où le pipeline est exécuté. Différents provisionneurs peuvent créer différents types de clusters sur différents clouds.
Chaque provisionneur expose un ensemble de paramètres de configuration qui contrôlent le type de cluster créé pour une exécution. Par exemple, les provisionneurs Dataproc et Amazon EMR disposent de paramètres de taille de cluster. Les provisionneurs disposent également de paramètres pour les identifiants requis pour communiquer avec leurs clouds respectifs et provisionner les nœuds de calcul requis.
Fournisseurs compatibles dans Cloud Data Fusion
Cloud Data Fusion est compatible avec les provisionneurs suivants:
Service cloud rapide, facile à utiliser et entièrement géré permettant d'exécuter des clusters Apache Spark et Apache Hadoop.
Amazon Elastic MapReduce (EMR)
Fournit un framework Hadoop géré qui traite de vastes quantités de données dans les instances Amazon EC2 évolutives de manière dynamique.
Hadoop à distance
Exécute des tâches sur un cluster Hadoop préexistant, sur site ou dans le cloud.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eProvisioners manage the creation and deletion of cloud clusters for pipeline execution.\u003c/p\u003e\n"],["\u003cp\u003eDifferent provisioners enable the creation of various cluster types on different cloud platforms.\u003c/p\u003e\n"],["\u003cp\u003eProvisioners offer configuration settings to define the characteristics of the created cluster and credentials for cloud access.\u003c/p\u003e\n"],["\u003cp\u003eCloud Data Fusion supports Dataproc, Amazon EMR, and Remote Hadoop provisioners.\u003c/p\u003e\n"]]],[],null,["# Provisioners in Cloud Data Fusion\n\nA provisioner is responsible for creating and tearing down the cloud cluster\nwhere the pipeline is executed. Different provisioners are capable of\ncreating different types of clusters on various clouds.\n\nEach provisioner exposes a set of configuration settings that control the type\nof cluster that's created for a run. For example, the Dataproc\nand Amazon EMR provisioners have cluster size settings. Provisioners also have\nsettings for the credentials required to talk to their respective clouds and\nprovision the required compute nodes.\n\nSupported provisioners in Cloud Data Fusion\n-------------------------------------------\n\nCloud Data Fusion supports the following provisioners:\n\n[Dataproc](/data-fusion/docs/concepts/dataproc)\n: A fast, easy-to-use, and fully-managed cloud service for running Apache Spark\n and Apache Hadoop clusters.\n\nAmazon Elastic MapReduce (EMR)\n: Provides a managed Hadoop framework that processes vast amounts of data across\n dynamically scalable Amazon EC2 instances.\n\nRemote Hadoop\n: Runs jobs on a pre-existing Hadoop cluster, either on-premises or in the\n cloud."]]
