Composants Cloud Dataproc

Lorsque vous créez un cluster, les composants standards de l'écosystème Apache Hadoop sont automatiquement installés sur le cluster (consultez la section Liste des versions de Cloud Dataproc). Vous pouvez installer des composants supplémentaires, appelés "composants facultatifs", sur le cluster lors de la création du cluster. L'ajout de composants facultatifs à un cluster est semblable à l'ajout de composants via l'utilisation d'actions d'initialisation, mais présente les avantages suivants :

• Démarrage accéléré du cluster
• Compatibilité testée avec des versions spécifiques de Dataproc
• Utilisation d'un paramètre de cluster au lieu d'un script d'action d'initialisation
• Intégration des composants facultatifs aux autres composants Dataproc. Par exemple, lorsque Anaconda et Zeppelin sont installés sur un cluster, Zeppelin utilise l'interpréteur et les bibliothèques Python d'Anaconda.

Des composants facultatifs peuvent être ajoutés aux clusters créés avec Dataproc version 1.3 et ultérieure.

Composants facultatifs disponibles

Composant facultatif	COMPONENT_NAME dans les commandes gcloud et les requêtes API	Version d'image	Phase de version
Anaconda	ANACONDA	1.3 et versions ultérieures	GD
Druid	DRUID	1.3 et versions ultérieures	Alpha
Hive WebHCat	HIVE_WEBHCAT	1.3 et versions ultérieures	GD
Notebook Jupyter	JUPYTER	1.3 et versions ultérieures	GD
Presto	PRESTO	1.3 et versions ultérieures	Bêta
Ranger	RANGER	1.3 et versions ultérieures	Bêta
Solr	SOLR	1.3 et versions ultérieures	Bêta
Notebook Zeppelin	ZEPPELIN	1.3 et versions ultérieures	GD
ZooKeeper	ZOOKEEPER	1.0 et versions ultérieures	GD

Consultez la section Interfaces Web de clusters pour plus d'informations sur la connexion aux interfaces Web de composants exécutées sur des clusters. Consultez également la passerelle des composants Dataproc, qui vous permet de vous connecter aux interfaces Web des composants principaux et facultatifs de Dataproc, y compris les interfaces utilisateur YARN, HDFS, Jupyter et Zeppelin, sans avoir à utiliser les tunnels SSH ou la modification des règles de pare-feu pour autoriser le trafic entrant.

Ajouter des composants facultatifs

Remarque : Les exemples d'utilisation ci-dessous concernent les composants en disponibilité générale. Consultez la page du composant Druid pour obtenir des exemples d'utilisation applicables à ce composant de version pré-disponibilité générale

.

Commande gcloud

Pour créer un cluster Dataproc et installer un ou plusieurs composants facultatifs sur le cluster, utilisez la commande gcloud beta dataproc clusters create cluster-name avec l'option --optional-components (à l'aide de la version en images 1.3 ou ultérieure).

    gcloud dataproc clusters create cluster-name \
      --optional-components=COMPONENT-NAME(s) \
      --image-version=1.3 \
      ... other flags
    

API REST

Le composant facultatifs peut être spécifié via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Console

Dans Cloud Console, ouvrez la page Dataproc Créer un cluster. Cliquez sur "Advanced options" (Options avancées) au bas de la page pour afficher la section "Optional Components" (Composants facultatifs).

Cliquez sur "Select component" (Sélectionner un composant) pour ouvrir le panneau de sélection Optional components (Composants facultatifs). Sélectionnez un ou plusieurs composants à installer sur votre cluster.