Clusters à nœud unique

Les clusters à nœud unique sont des clusters Dataproc avec un seul nœud. Ce nœud unique agit à la fois en tant que nœud maître et nœud de calcul pour votre cluster Dataproc. Bien que les clusters à nœud unique ne comportent qu'un seul nœud, la plupart des concepts et fonctionnalités de Dataproc continuent de s'appliquer, à l'exception de ceux répertoriés ci-dessous.

Les clusters Dataproc à nœud unique peuvent être utiles dans plusieurs cas, parmi lesquels :

  • Pour essayer de nouvelles versions de Spark et Hadoop ou d'autres composants Open Source.
  • Pour élaborer des démonstrations de faisabilité.
  • Pour les applications légères de la science des données.
  • Pour le traitement de données non critiques à petite échelle.
  • Pour la formation sur l'écosystème Spark et Hadoop.

Sémantique d'un cluster à nœud unique

La sémantique suivante s'applique aux clusters Dataproc à nœud unique :

  • Les clusters à nœud unique sont configurés de la même manière que les clusters Dataproc multinœuds. Ils incluent des services tels que HDFS et YARN.
  • Les clusters à nœud unique sont signalés en tant que nœuds maîtres pour les actions d'initialisation.
  • Les clusters à nœud unique n'affichent aucun nœud de calcul, car le nœud unique joue lui-même le rôle de nœud maître et de nœud de calcul.
  • Les clusters à nœud unique reçoivent des noms d'hôte qui suivent le modèle clustername-m. Vous pouvez utiliser ce nom d'hôte pour vous connecter en SSH ou à une interface utilisateur Web sur le nœud.
  • Les clusters à nœud unique ne peuvent pas être remplacés par des clusters multinœuds. Une fois créés, les clusters à nœud unique sont limités à un seul nœud. Réciproquement, les clusters multinœuds ne peuvent pas être remplacés par des clusters à nœud unique.

Limites

  • Les clusters à nœud unique ne sont pas recommandés pour le traitement parallèle de données à grande échelle. Si vous dépassez les ressources d'un cluster à nœud unique, il est recommandé d'utiliser un cluster Dataproc multinœud.
  • Les types de machines n1-standard-1 disposent de ressources limitées et ne sont pas recommandés pour les applications YARN.
  • Les clusters à nœud unique ne sont pas compatibles avec la haute disponibilité, car le cluster ne possède qu'un seul nœud.
  • Les clusters à nœud unique ne peuvent pas utiliser de machines virtuelles préemptives.

Créer un cluster à nœud unique

Commande gcloud

Vous pouvez créer un cluster Dataproc à nœud unique à l'aide de l'outil de ligne de commande gcloud. Pour créer un cluster à nœud unique, transmettez l'option --single-node à la commande gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Vous pouvez créer un cluster à nœud unique via l'API REST Dataproc avec une requête clusters.create. Lors de cette requête, pensez à effectuer les actions suivantes :

  1. Ajoutez la propriété "dataproc:dataproc.allow.zero.workers":"true" à l'objet SoftwareConfig de la requête de cluster.
  2. N'envoyez pas de valeurs pour workerConfig et secondaryWorkerConfig (voir ClusterConfig).

Console

Vous pouvez créer un cluster à nœud unique en sélectionnant "Single Node (1 master, 0 workers)" (Un seul nœud (1 nœud maître, 0 nœud de calcul)) via le sélecteur Cluster mode (Mode du cluster) sur la page Dataproc Create a cluster (Créer un cluster).