Questo documento illustra le best practice di Dataproc che possono aiutarti job di elaborazione dati affidabili, efficienti e approfonditi su di cluster Dataproc in ambienti di produzione.
Specifica le versioni delle immagini del cluster
Dataproc utilizza le versioni delle immagini per raggruppare il sistema operativo, i componenti big data e i connettori Google Cloud in un pacchetto di cui viene eseguito il deployment in un cluster. Se non specifichi una versione dell'immagine durante la creazione di un cluster, Dataproc imposta automaticamente la versione dell'immagine stabile più recente.
Per gli ambienti di produzione, associa il cluster a un
major.minor
versione immagine Dataproc, come
come mostrato nel seguente comando
gcloud CLId.
gcloud dataproc clusters create CLUSTER_NAME \ --region=region \ --image-version=2.0
Dataproc risolve la versione major.minor
all'ultima versione secondaria inferiore
(2.0
è stato risolto in 2.0.x
). Nota: se devi fare affidamento su una versione secondaria specifica per il tuo cluster,
puoi specificarlo: ad esempio, --image-version=2.0.x
. Consulta
Come funziona il controllo delle versioni per
ulteriori informazioni.
Versioni immagine di anteprima di Dataproc
Nuove versioni secondarie di Dataproc
le immagini sono disponibili in una versione preview
prima del rilascio
nella traccia della versione dell'immagine secondaria standard. Utilizzare un'immagine di anteprima
per testare e convalidare i tuoi job rispetto a una nuova versione immagine secondaria
prima di adottare la versione standard
dell'immagine secondaria in produzione.
Per saperne di più, consulta Controllo delle versioni di Dataproc.
Utilizza immagini personalizzate quando necessario
Se hai dipendenze da aggiungere al cluster, ad esempio librerie Python native o software di protezione da virus o rafforzamento della sicurezza, crea un'immagine personalizzata dall'immagine più recente nel canale della versione dell'immagine secondaria di destinazione. Questa pratica ti consente di soddisfare i requisiti di dipendenza quando crei cluster utilizzando l'immagine personalizzata. Quando ricostruisci l'immagine personalizzata per aggiornare i requisiti delle dipendenze, utilizza la versione dell'immagine secondaria più recente disponibile nel canale delle immagini secondarie.
Invia job al servizio Dataproc
Invia job al servizio Dataproc con una chiamata jobs.submit utilizzando l'interfaccia a riga di comando gcloud o la console Google Cloud. Imposta le autorizzazioni per i job e i cluster concedendo ruoli Dataproc. Utilizza le funzionalità di ruoli personalizzati per separare l'accesso al cluster dalle autorizzazioni di invio dei job.
Vantaggi dell'invio dei job al servizio Dataproc:
- Non sono necessarie impostazioni di rete complicate: l'API è ampiamente raggiungibile
- Ruoli e autorizzazioni IAM facili da gestire
- Monitora facilmente lo stato dei job: nessun metadato dei job Dataproc per complicare i risultati.
In produzione, esegui job che dipendono solo dal livello di cluster
di dipendenze in una versione immagine secondaria fissa (ad esempio --image-version=2.0
). Pacchetto
con i job quando vengono inviati. Inviare un uber jar a Spark o MapReduce è un modo comune per farlo.
- Esempio: se un file jar del job dipende da
args4j
espark-sql
, conargs4j
specifico per il job espark-sql
una dipendenza a livello di cluster, raggruppaargs4j
nel file jar uber del job.
Controllare le posizioni delle azioni di inizializzazione
Azioni di inizializzazione di eseguire automaticamente script o installare quando crei un cluster Dataproc (vedi i dataproc-initialization-actions repository GitHub per azioni comuni di inizializzazione di Dataproc). Quando utilizzi azioni di inizializzazione del cluster in un ambiente copia gli script di inizializzazione in Cloud Storage anziché reperirli da un repository pubblico. Questa pratica evita di correre script di inizializzazione soggetti a modifiche da parte di altri utenti.
Monitora le note di rilascio di Dataproc
Dataproc rilascia regolarmente nuove versioni immagine secondarie. Visualizza o iscriviti alle note di rilascio di Dataproc per essere al corrente delle ultime release delle versioni immagine di Dataproc e di altri annunci, modifiche e correzioni.
Visualizza il bucket di staging per esaminare gli errori
Osserva l'andamento del cluster bucket gestione temporanea per esaminare i messaggi di errore relativi a cluster e job. In genere, la località di Cloud Storage del bucket gestione temporanea è mostrata in di errore, come mostrato in grassetto nel seguente errore di esempio messaggio:
ERROR: (gcloud.dataproc.clusters.create) Operation ... failed: ... - Initialization action failed. Failed action ... see output in: gs://dataproc-<BUCKETID>-us-central1/google-cloud-dataproc-metainfo/CLUSTERID/<CLUSTER_ID>\dataproc-initialization-script-0_output
Utilizza gcloud CLI per visualizzare i contenuti del bucket di staging:
Esempio di output:gcloud storage cat gs://STAGING_BUCKET
+ readonly RANGER_VERSION=1.2.0 ... Ranger admin password not set. Please use metadata flag - default-password
Assistenza
Google Cloud supporta i carichi di lavoro OSS di produzione e ti aiuta a soddisfare gli SLA della tua attività tramite livelli di assistenza. Inoltre, i servizi di consulenza di Google Cloud possono fornire indicazioni sulle best practice per gli implementazioni di produzione del tuo team.
Per ulteriori informazioni
Leggi la guida alle best practice di Dataproc del blog Google Cloud.
Guarda Democratizing Dataproc su YouTube.