Cluster a nodo singolo

I cluster a nodo singolo sono cluster Dataproc con un solo nodo. Questo singolo nodo agisce come master e worker per il cluster Dataproc. Sebbene i cluster a singolo nodo abbiano un solo nodo, la maggior parte dei concetti e delle funzionalità di Dataproc si applicano comunque, ad eccezione di quelli elencati di seguito.

Esistono diverse situazioni in cui i cluster Dataproc a un solo nodo possono essere utili, tra cui:

• Provare nuove versioni di Spark e Hadoop o altri componenti open source
• Creazione di dimostrazioni proof of concept (PoC)
• Data science leggera
• Elaborazione di dati non critici su piccola scala
• Formazione relativa all'ecosistema Spark e Hadoop

Semantica del cluster a nodo singolo

Ai cluster Dataproc a un solo nodo si applicano le seguenti semantiche:

• I cluster a nodo singolo sono configurati come i cluster Dataproc a più nodi e includono servizi come HDFS e YARN.
• I cluster a nodo singolo vengono registrati come nodi master per le azioni di inizializzazione.
• I cluster a nodo singolo mostrano 0 worker poiché il singolo nodo agisce sia come master sia come worker.
• Ai cluster a nodo singolo vengono assegnati nomi host che seguono il pattern clustername-m. Puoi utilizzare questo nome host per eseguire SSH o connetterti a un'interfaccia utente web sul nodo.
• Non è possibile eseguire l'upgrade dei cluster a nodo singolo a cluster multinodo. Una volta creati, i cluster a nodo singolo sono limitati a un nodo. Analogamente, i cluster con più nodi non possono essere ridotti a cluster con un solo nodo.

Limitazioni

• I cluster a nodo singolo non sono consigliati per l'elaborazione parallela di dati su larga scala. Se superi le risorse di un cluster a un solo nodo, è consigliabile un cluster Dataproc con più nodi.

• I cluster a nodo singolo non sono disponibili con alta disponibilità poiché il cluster contiene un solo nodo.

• I cluster a nodo singolo non possono utilizzare le VM prerilasciabili.

Creazione di un cluster a un solo nodo

Comando g-cloud

Puoi creare un cluster Dataproc a un solo nodo utilizzando lo strumento a riga di comando gcloud. Per creare un cluster a un solo nodo, passa il flag --single-node al comando gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Puoi creare un cluster a un solo nodo tramite l'API REST Dataproc utilizzando una richiesta clusters.create. Quando effettui questa richiesta, devi:

1. Aggiungi la proprietà "dataproc:dataproc.allow.zero.workers":"true" a SoftwareConfig della richiesta del cluster.
2. Non inviare valori per workerConfig e secondaryWorkerConfig (vedi ClusterConfig).

Un modo semplice per esaminare e creare il corpo JSON di una richiesta di creazione di cluster dell'API Dataproc è aprire la pagina Dataproc Crea un cluster, compilare i campi applicabili, quindi fare clic sul pulsante Equivalente REST nella parte inferiore del riquadro di sinistra per visualizzare la richiesta POST con il corpo della richiesta JSON completato.

Console

Puoi creare un cluster a nodo singolo selezionando "Nodo singolo (1 master, 0 worker)" nella sezione Tipo di cluster del riquadro Configura cluster nella pagina Dataproc Crea un cluster.