Clusters à nœud unique

Les clusters à nœud unique sont des clusters Dataproc avec un seul nœud. Ce nœud unique agit à la fois en tant que nœud maître et nœud de calcul pour votre cluster Dataproc. Bien que les clusters à nœud unique ne comportent qu'un seul nœud, la plupart des concepts et fonctionnalités de Dataproc continuent de s'appliquer, à l'exception de ceux répertoriés ci-dessous.

Les clusters Dataproc à nœud unique peuvent être utiles dans plusieurs cas, parmi lesquels :

• Pour essayer de nouvelles versions de Spark et Hadoop ou d'autres composants Open Source.
• Pour élaborer des démonstrations de faisabilité.
• Pour les applications légères de la science des données.
• Pour le traitement de données non critiques à petite échelle.
• Pour la formation sur l'écosystème Spark et Hadoop.

Sémantique d'un cluster à nœud unique

La sémantique suivante s'applique aux clusters Dataproc à nœud unique :

• Les clusters à nœud unique sont configurés de la même manière que les clusters Dataproc multinœuds. Ils incluent des services tels que HDFS et YARN.
• Les clusters à nœud unique sont signalés en tant que nœuds maîtres pour les actions d'initialisation.
• Les clusters à nœud unique n'affichent aucun nœud de calcul, car le nœud unique joue lui-même le rôle de nœud maître et de nœud de calcul.
• Les clusters à nœud unique reçoivent des noms d'hôte qui suivent le modèle clustername-m. Vous pouvez utiliser ce nom d'hôte pour vous connecter en SSH ou à une interface utilisateur Web sur le nœud.
• Les clusters à nœud unique ne peuvent pas être remplacés par des clusters multinœuds. Une fois créés, les clusters à nœud unique sont limités à un seul nœud. Réciproquement, les clusters multinœuds ne peuvent pas être remplacés par des clusters à nœud unique.

Limites

• Les clusters à nœud unique ne sont pas recommandés pour le traitement parallèle de données à grande échelle. Si vous dépassez les ressources d'un cluster à nœud unique, il est recommandé d'utiliser un cluster Dataproc multinœud.

• Les clusters à nœud unique ne sont pas compatibles avec la haute disponibilité, car le cluster ne possède qu'un seul nœud.

• Les clusters à nœud unique ne peuvent pas utiliser de machines virtuelles préemptives.

Créer un cluster à nœud unique

Commande gcloud

Vous pouvez créer un cluster Dataproc à nœud unique à l'aide de l'outil de ligne de commande gcloud. Pour créer un cluster à nœud unique, transmettez l'option --single-node à la commande gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Vous pouvez créer un cluster à nœud unique via l'API REST Dataproc avec une requête clusters.create. Lors de cette requête, pensez à effectuer les actions suivantes :

1. Ajoutez la propriété "dataproc:dataproc.allow.zero.workers":"true" à l'objet SoftwareConfig de la requête de cluster.
2. N'envoyez pas de valeurs pour workerConfig et secondaryWorkerConfig (voir ClusterConfig).

Un moyen simple d'examiner et de construire le corps JSON d'une requête de création de clusters dans l'API Dataproc consiste à ouvrir la page Créer un cluster de Dataproc, renseigner les champs applicables, puis cliquer sur le bouton Requête/Réponse REST équivalente en bas du panneau de gauche pour afficher la requête POST avec le corps complet de la requête JSON.

Console

Vous pouvez créer un cluster à nœud unique. Pour ce faire, sélectionnez "Un seul nœud (1 nœud maître, 0 nœud de calcul)" dans la section "Type de cluster" du panneau "Configurer le cluster" sur la page Créer un cluster de Dataproc.