Memorizzazione nella cache del cluster

Quando si abilita la memorizzazione nella cache di un cluster Dataproc, quest'ultimo memorizza nella cache i dati di Cloud Storage a cui accedono spesso i job Spark.

Vantaggi

• Prestazioni superiori: la memorizzazione nella cache può migliorare le prestazioni dei job riducendo il tempo impiegato per il recupero dei dati dallo spazio di archiviazione.
• Costi di archiviazione ridotti: poiché i dati ad accesso frequente vengono memorizzati nella cache sul disco locale, vengono effettuate meno chiamate API allo spazio di archiviazione per recuperare i dati.

Limitazioni e requisiti

• La memorizzazione nella cache si applica solo ai job Dataproc Spark.
• Vengono memorizzati nella cache solo i dati di Cloud Storage.
• La memorizzazione nella cache si applica solo ai cluster che soddisfano i seguenti requisiti:
  • Il cluster ha un master e n worker (i cluster alta disponibilità (HA) e nodo singolo non sono supportati).
  • Questa funzionalità è disponibile nelle versioni immagine 2.0.72+ or 2.1.20+ di Dataproc su Compute Engine.
  • Ogni nodo cluster deve avere SSD locali collegati all'interfaccia NVME (Non-Volatile Memory Express) (i dischi permanenti (PD) non sono supportati). I dati vengono memorizzati nella cache solo sulle unità SSD locali NVME.
  • Il cluster utilizza l'account di servizio VM predefinito per l'autenticazione. Gli account di servizio per VM personalizzate non sono supportati.

Abilita memorizzazione nella cache del cluster

Puoi abilitare la memorizzazione nella cache dei cluster quando crei un cluster Dataproc utilizzando la console Google Cloud, Google Cloud CLI o l'API Dataproc.

Console Google Cloud

• Apri la pagina Crea un cluster su Compute Engine di Dataproc nella console Google Cloud.
• Il riquadro Configura cluster è selezionato. Nella sezione Miglioramenti delle prestazioni di Spark, seleziona Abilita la memorizzazione nella cache di Google Cloud Storage.
• Dopo aver confermato e specificato i dettagli del cluster nei riquadri di creazione del cluster, fai clic su Crea.

Interfaccia a riga di comando gcloud

Esegui il comando gcloud dataproc clusters create localmente in una finestra del terminale o in Cloud Shell utilizzando la proprietà cluster dataproc:dataproc.cluster.caching.enabled=true.

Esempio:

gcloud dataproc clusters create CLUSTER_NAME \
    --region=REGION \
    --properties dataproc:dataproc.cluster.caching.enabled=true \
    --num-master-local-ssds=2 \
    --master-local-ssd-interface=NVME \
    --num-worker-local-ssds=2 \
    --worker-local-ssd-interface=NVME \
    other args ...
  

API REST

Imposta SoftwareConfig.properties per includere la proprietà cluster "dataproc:dataproc.cluster.caching.enabled": "true" come parte di una richiesta clusters.create.