Cluster a nodo singolo

I cluster a nodo singolo sono cluster Dataproc con un solo nodo. Questo singolo funge da master e worker per il cluster Dataproc. Quando si è single hanno un solo nodo, la maggior parte dei concetti e delle funzionalità di Dataproc continuano a essere valide, ad eccezione di quelli elencati di seguito.

Esistono diverse situazioni in cui i cluster Dataproc a nodo singolo possono utili, ad esempio:

• Provare nuove versioni di Spark e Hadoop o altri componenti open source
• Creazione di dimostrazioni di proof of concept (PoC)
• Data science leggera
• Elaborazione di dati non critici su piccola scala
• Istruzione correlata all'ecosistema Spark e Hadoop

Semantica del cluster a nodo singolo

La seguente semantica si applica ai cluster Dataproc a nodo singolo:

• I cluster a nodo singolo sono configurati come i cluster Dataproc a più nodi e includono servizi come HDFS e YARN.
• I cluster a nodo singolo vengono indicati come nodi master azioni di inizializzazione.
• I cluster a nodo singolo mostrano 0 worker poiché il nodo singolo agisce come sia master che worker.
• Ai cluster a nodo singolo vengono assegnati nomi host che seguono il pattern clustername-m. Puoi utilizzare questo nome host per eseguire SSH o connetterti a un'interfaccia utente web sul nodo.
• Non è possibile eseguire l'upgrade dei cluster a nodo singolo a cluster multinodo. Una volta creati, i cluster a nodo singolo sono limitati a un nodo. Analogamente, i cluster non è possibile fare lo scale down dei cluster in cluster a nodo singolo.

Limitazioni

• I cluster a nodo singolo non sono consigliati per dati paralleli su larga scala e l'elaborazione dei dati. Se superi le risorse di un cluster a un solo nodo, è consigliabile un cluster Dataproc con più nodi.

• I cluster a nodo singolo non sono disponibili con alta disponibilità poiché il cluster contiene un solo nodo.

• I cluster a nodo singolo non possono utilizzare le VM prerilasciabili.

Creazione di un cluster a nodo singolo

Comando g-cloud

Puoi creare un cluster Dataproc a nodo singolo utilizzando l'gcloud a strumento a riga di comando. Per creare un cluster a un solo nodo, passa il flag --single-node al comando gcloud dataproc clusters create.

gcloud dataproc clusters create cluster-name \
    --region=region \
    --single-node \
    ... other args

API REST

Puoi creare un cluster a un solo nodo tramite l'API REST Dataproc utilizzando una richiesta clusters.create. Quando effettui questa richiesta, devi:

1. Aggiungi la proprietà "dataproc:dataproc.allow.zero.workers":"true" a SoftwareConfig della richiesta del cluster.
2. Non inviare valori per workerConfig e secondaryWorkerConfig (vedi ClusterConfig).

Un modo semplice per esaminare e creare il corpo JSON di una richiesta di creazione di cluster dell'API Dataproc è aprire la pagina Dataproc Crea un cluster, compilare i campi applicabili, quindi fare clic sul pulsante Equivalente REST nella parte inferiore del riquadro di sinistra per visualizzare la richiesta POST con il corpo della richiesta JSON completato.

Console

Puoi creare un cluster a nodo singolo selezionando "Nodo singolo (1 master, 0 worker)" nella sezione Tipo di cluster il riquadro Configura cluster su Dataproc Crea un cluster .