Composants Dataproc

Lorsque vous créez un cluster, les composants standard de l'écosystème Apache Hadoop sont automatiquement installés sur le cluster (consultez la section Liste des versions de Dataproc). Vous pouvez installer des composants supplémentaires, appelés "composants facultatifs", sur le cluster lors de la création du cluster. L'ajout de composants facultatifs à un cluster est semblable à l'ajout de composants via l'utilisation d'actions d'initialisation, mais présente les avantages suivants :

  • Démarrage accéléré du cluster
  • Compatibilité testée avec des versions spécifiques de Dataproc
  • Utilisation d'un paramètre de cluster au lieu d'un script d'action d'initialisation
  • Intégration des composants facultatifs aux autres composants Dataproc. Par exemple, lorsque Anaconda et Zeppelin sont installés sur un cluster, Zeppelin utilise l'interpréteur et les bibliothèques Python d'Anaconda.

Des composants facultatifs peuvent être ajoutés aux clusters créés avec Dataproc version 1.3 et ultérieure.

Composants facultatifs disponibles

Composant facultatif COMPONENT_NAME
dans les commandes gcloud et les requêtes API
Version d'image Phase de version
Anaconda ANACONDA 1.3 et versions ultérieures
(non disponible dans 2.0 et versions ultérieures)
GA
Docker DOCKER 1.5 et versions ultérieures GA
Druid DRUID 1.3 et versions ultérieures Alpha
Flink FLINK 1.5 et versions ultérieures GA
HBase HBase 1.5 et versions ultérieures Beta
Hive WebHCat HIVE_WEBHCAT 1.3 et versions ultérieures GA
Notebook Jupyter JUPYTER 1.3 et versions ultérieures GA
Presto PRESTO 1.3 et versions ultérieures GA
Ranger RANGER 1.3 et versions ultérieures GA
Solr SOLR 1.3 et versions ultérieures GA
Notebook Zeppelin ZEPPELIN 1.3 et versions ultérieures GA
ZooKeeper ZOOKEEPER 1.0 et versions ultérieures GA

Ajouter des composants facultatifs

.

Commande gcloud

Pour créer un cluster Dataproc et installer un ou plusieurs composants facultatifs sur le cluster, utilisez la commande gcloud beta dataproc clusters create cluster-name avec l'option --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Les composants facultatifs peuvent être spécifiés via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Console

Dans Cloud Console, ouvrez la page Dataproc Créer un cluster. Le panneau "Configurer le cluster" est sélectionné. Sous "Composants facultatifs" dans la section "Composants", sélectionnez un ou plusieurs composants à installer sur votre cluster.