Composants Dataproc

Lorsque vous créez un cluster, les composants standard de l'écosystème Apache Hadoop sont automatiquement installés sur le cluster (consultez la section Liste des versions de Dataproc). Vous pouvez installer des composants supplémentaires, appelés "composants facultatifs", sur le cluster au moment de sa création. L'ajout de composants facultatifs à un cluster est semblable à l'ajout de composants via l'utilisation d'actions d'initialisation, mais présente les avantages suivants :

• Démarrage accéléré du cluster
• Compatibilité testée avec des versions spécifiques de Dataproc
• Utilisation d'un paramètre de cluster au lieu d'un script d'action d'initialisation
• Intégration des composants facultatifs aux autres composants Dataproc. Par exemple, lorsque Anaconda et Zeppelin sont installés sur un cluster, Zeppelin utilise l'interpréteur et les bibliothèques Python d'Anaconda.

Les composants facultatifs sont installés sur un cluster avant toute action d'initialisation.

Composants facultatifs disponibles

Composant facultatif.	COMPONENT_NAME dans les commandes gcloud et les requêtes API	Version d'image	Phase de version
Anaconda	ANACONDA	1.3 et versions ultérieures (non disponible dans la version 2.0 et ultérieures)	GA
Docker	DOCKER	1.5 et versions ultérieures	GA
Flink	FLINK	1.5 et versions ultérieures	GA
HBase	HBASE	1.5 et versions ultérieures (non disponibles à partir de la version 2.1)	Beta
Hive WebHCat	HIVE_WEBHCAT	1.3 et versions ultérieures	GA
Hudi	Hudi	1.5 et versions ultérieures	GA
Notebook Jupyter	JUPYTER	1.3 et versions ultérieures	GA
Presto	PRESTO	1.3 et versions ultérieures (non disponibles à partir de la version 2.1)	GA
Ranger	RANGER	1.3 et versions ultérieures	GA
Solr	Sol	1.3 et versions ultérieures	GA
Trino	TRINO	2.1 et versions ultérieures	GA
Notebook Zeppelin	ZEPPELIN	1.3 et versions ultérieures	GA
ZooKeeper	ZOOKEEPER	1.0 et versions ultérieures	GA

Consultez la section Interfaces Web de clusters pour plus d'informations sur la connexion aux interfaces Web de composants exécutées sur des clusters. Consultez également la passerelle des composants Dataproc, qui vous permet de vous connecter aux interfaces Web des composants principaux et facultatifs de Dataproc, y compris les interfaces utilisateur YARN, HDFS, Jupyter et Zeppelin, sans utiliser les tunnels SSH ni modifier les règles de pare-feu pour autoriser le trafic entrant.

Ajouter des composants facultatifs

Remarque :Les exemples d'utilisation ci-dessous concernent les composants de disponibilité générale.

Commande gcloud

Pour créer un cluster Dataproc et installer un ou plusieurs composants facultatifs sur le cluster, utilisez la commande gcloud beta dataproc clusters create cluster-name avec l'option --optional-components.

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Les composants facultatifs peuvent être spécifiés via l'API Dataproc à l'aide de la propriété SoftwareConfig.Component dans le cadre d'une requête clusters.create.

Console

Dans la console Google Cloud, ouvrez la page Dataproc Créer un cluster. Le panneau "Configurer un cluster" est sélectionné. Sous "Composants facultatifs" dans la section "Composants", sélectionnez un ou plusieurs composants à installer sur votre cluster.