Cluster a nodo singolo

I cluster a nodo singolo sono cluster Dataproc con un solo nodo. Questo singolo nodo funge da master e worker per il tuo cluster Dataproc. Sebbene i cluster a nodo singolo abbiano un solo nodo, la maggior parte dei concetti e delle funzionalità di Dataproc sono comunque applicabili, ad eccezione di quelli elencati di seguito.

Esistono diverse situazioni in cui i cluster Dataproc a un solo nodo possono essere utili, tra cui:

• Provare nuove versioni di Spark e Hadoop o altri componenti open source
• Creazione di dimostrazioni proof of concept (PoC)
• Data science leggera
• Trattamento dati non critico su piccola scala
• Formazione relativa all'ecosistema Spark e Hadoop

Semantica del cluster a nodo singolo

Ai cluster Dataproc a nodo singolo si applicano le seguenti semantiche:

• I cluster a nodo singolo sono configurati come i cluster Dataproc multi-nodo e includono servizi come HDFS e YARN.
• I cluster a nodo singolo vengono segnalati come nodi master per le azioni di inizializzazione.
• I cluster a nodo singolo mostrano 0 worker perché il singolo nodo funge da master e worker.
• Ai cluster a un solo nodo vengono assegnati nomi host che seguono il pattern clustername-m. Puoi utilizzare questo nome host per accedere tramite SSH o connetterti a una interfaccia utente web sul nodo.
• I cluster a nodo singolo non possono essere sottoposti ad upgrade a cluster multi-nodo. Una volta creati, i cluster a nodo singolo sono limitati a un solo nodo. Allo stesso modo, i cluster multinodo non possono essere ridimensionati a cluster a nodo singolo.

Limitazioni

• I cluster a nodo singolo non sono consigliati per l'elaborazione parallela di dati su larga scala. Se superi le risorse di un cluster a nodo singolo, è consigliabile un cluster Dataproc multi-nodo.

• I cluster a nodo singolo non sono disponibili con alta disponibilità poiché nel cluster è presente un solo nodo.

• I cluster a nodo singolo non possono utilizzare le VM preemptible.

Crea un cluster a nodo singolo

Comando g-cloud

Puoi creare un cluster Dataproc a un solo nodo utilizzando lo strumento a riga di comando gcloud. Per creare un cluster a un solo nodo, passa il flag --single-node al comando gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Puoi creare un cluster a un solo nodo tramite l'API REST Dataproc utilizzando una richiesta clusters.create. Quando effettui questa richiesta, devi:

1. Aggiungi la proprietà "dataproc:dataproc.allow.zero.workers":"true" a SoftwareConfig della richiesta del cluster.
2. Non inviare valori per workerConfig e secondaryWorkerConfig (vedi ClusterConfig).

Per esaminare e creare il corpo JSON di una richiesta di creazione di cluster dell'API Dataproc, apri la pagina Crea un cluster di Dataproc, compila i campi applicabili, poi fai clic sul pulsante REST equivalente in fondo al riquadro a sinistra per visualizzare la richiesta POST con il corpo della richiesta JSON completato.

Console

Puoi creare un cluster a nodo singolo selezionando "Nodo singolo (1 master, 0 worker)" nella sezione Tipo di cluster del riquadro Configura cluster nella pagina Crea un cluster di Dataproc.