Questa sezione descrive le opzioni di Google Cloud che puoi utilizzare per pianificare per i flussi di lavoro.
Modelli di flusso di lavoro Dataproc
I modelli di flusso di lavoro di Dataproc offrono un meccanismo flessibile e facile da usare per la gestione e l'esecuzione dei flussi di lavoro. Un modello di flusso di lavoro è una configurazione di flusso di lavoro riutilizzabile. Definisce un grafico di job con informazioni sul punto di esecuzione di questi job.
Cloud Scheduler
Cloud Scheduler è un servizio di livello aziendale completamente gestito per la pianificazione di cron job. Consente di pianificare praticamente qualsiasi job, inclusi job batch, big data, e le operazioni dell'infrastruttura cloud. Fornisce una semplice programmazione basata sul tempo, ad esempio giornaliera o oraria, senza che tu debba scrivere codice.
Vantaggi:
Abilita la creazione di un’istanza basata sul tempo dei modelli di flusso di lavoro basati su espressioni cron
Nessun codice da scrivere
Tutorial: Flusso di lavoro con Cloud Scheduler
Cloud Functions
Le funzioni Cloud Run sono una soluzione di calcolo leggera che puoi utilizzare per creare funzioni autonome a uso specifico che rispondono a eventi Cloud senza la necessità di gestire un ambiente server o di runtime. Puoi utilizzare Funzioni di Cloud Run per avviare Workflows in risposta a Pub/Sub o modifiche ai file in Cloud Storage. Puoi utilizzare le funzioni di Cloud Run con Cloud Scheduler per i flussi di lavoro che richiedono il calcolo parametri basati sul tempo.
Vantaggi:
Abilita la creazione di un'istanza del flusso di lavoro in risposta a eventi di dati come i nuovi file in di Cloud Storage o Pub/Sub.
Codifica minima richiesta utilizzando le librerie client Dataproc Go, Node.js o Python
Generare dinamicamente flussi di lavoro e parametri di flusso di lavoro
Tutorial: Flusso di lavoro con le funzioni di Cloud Run
Cloud Composer
Cloud Composer è un servizio Apache Airflow gestito che puoi utilizzare per creare, pianificare, monitorare e gestire i flussi di lavoro.
Vantaggi:
Supporta la pianificazione basata su orario ed eventi
Chiamate semplificate a Dataproc utilizzando gli operatori
Generazione dinamica di flussi di lavoro e parametri del flusso di lavoro
Crea flussi di dati che coprono più prodotti Google Cloud
Tutorial: Flusso di lavoro con Cloud Composer