Flusso di lavoro con Cloud Scheduler

Obiettivo:

1. Crea un modello di flusso di lavoro Dataproc che esegue un
   job Spark PI
2. Crea un job Cloud Scheduler per avviare il flusso di lavoro a un'ora specificata.

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Dataproc
• Compute Engine
• Cloud Scheduler

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

Configura il progetto

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc, Compute Engine, and Cloud Scheduler APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Creare un ruolo personalizzato

1. Apri la pagina IAM e amministrazione → Ruoli nella console Google Cloud.
   1. Fai clic su CREA RUOLO per aprire la pagina Crea ruolo.
   2. Completa i campi Titolo, Descrizione, ID, Fase di lancio. Suggerimento: utilizza "Creazione modello di flusso di lavoro Dataproc" come titolo del ruolo.
   3. Fai clic su AGGIUNGI AUTORIZZAZIONI.
      1. Nel modulo Aggiungi autorizzazioni, fai clic su Filtra, quindi seleziona "Autorizzazione". Completa il filtro in modo che legga "Autorizzazione: dataproc.workflowTemplates.instantiate".
      2. Fai clic sulla casella di controllo a sinistra dell'autorizzazione indicata, quindi su AGGIUNGI.

         

   4. Nella pagina Crea ruolo, fai di nuovo clic su AGGIUNGI AUTORIZZAZIONI per ripetere i passaggi precedenti e aggiungere l'autorizzazione "iam.serviceAccounts.actAs" al ruolo personalizzato. La pagina Crea ruolo ora elenca due autorizzazioni.

      

   5. Fai clic su CREA nella pagina Ruolo personalizzato. Il ruolo personalizzato è elencato nella pagina Ruoli.

      

Crea un account di servizio

1. Nella console Google Cloud, vai alla pagina Account di servizio.

   Vai ad Account di servizio

2. Seleziona il progetto.

3. Fai clic su Crea account di servizio.

4. Nel campo Nome account di servizio, inserisci il nome workflow-scheduler. La console Google Cloud compila il campo ID account di servizio in base a questo nome.

5. (Facoltativo) Nel campo Descrizione account di servizio, inserisci una descrizione per l'account di servizio.

6. Fai clic su Crea e continua.

7. Fai clic sul campo Seleziona un ruolo e scegli il ruolo personalizzato Crea modello di flusso di lavoro Dataproc che hai creato nel passaggio precedente.

8. Fai clic su Continua.

9. Nel campo Ruolo degli amministratori dell'account di servizio, inserisci il tuo indirizzo email del tuo Account Google.

10. Fai clic su Fine per completare la creazione dell'account di servizio.

Crea un modello di workflow.

Copia ed esegui i comandi elencati di seguito in una finestra del terminale locale o in Cloud Shell per creare e definire un modello di flusso di lavoro.

Note:

• I comandi specificano la regione "us-central1". Puoi specificare una regione diversa o eliminare il flag --region se in precedenza hai eseguito gcloud config set compute/region per impostare la proprietà regione.
• La sequenza "-- " (barra spaziatrice) nel comando add-job passa l'argomento 1000 al job SparkPi, che specifica il numero di campioni da utilizzare per stimare il valore di Pi.

1. Crea il modello di workflow.

   gcloud dataproc workflow-templates create sparkpi \
       --region=us-central1
   

2. Aggiungi il job Spark al modello di workflow sparkpi. L'ID del passaggio "compute" è obbligatorio e identifica il job SparkPi aggiunto.

   gcloud dataproc workflow-templates add-job spark \
       --workflow-template=sparkpi \
       --step-id=compute \
       --class=org.apache.spark.examples.SparkPi \
       --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \
       --region=us-central1 \
       -- 1000
   

3. Utilizza un cluster a nodo singolo gestito per eseguire il flusso di lavoro. Dataproc creerà il cluster, eseguirà il flusso di lavoro al suo interno ed eliminerà il cluster al termine del flusso di lavoro.

   gcloud dataproc workflow-templates set-managed-cluster sparkpi \
       --cluster-name=sparkpi \
       --single-node \
       --region=us-central1
   

4. Fai clic sul nome sparkpi nella pagina Dataproc Flussi di lavoro nella console Google Cloud per aprire la pagina Dettagli del modello di flusso di lavoro. Conferma gli attributi del modello sparkpi.

   

Crea un job Cloud Scheduler

1. Apri la pagina Cloud Scheduler nella console Google Cloud (potrebbe essere necessario selezionare il progetto per aprire la pagina). Fai clic su CREA JOB.

2. Inserisci o seleziona le seguenti informazioni sul job:

   1. Seleziona una regione: "us-central" o un'altra regione in cui hai creato il modello di workflow.
   2. Nome: "sparkpi"
   3. Frequenza: "* * * * *" seleziona ogni minuto; "0 9 * * 1" seleziona ogni lunedì alle 9:00. Consulta Definire la pianificazione dei job per altri valori unix-cron. Nota:potrai fare clic su un pulsante Esegui ora in Job di Cloud Scheduler nella console Google Cloud per eseguire e testare il job indipendentemente dalla frequenza impostata.
   4. Fuso orario:seleziona il tuo timezone. Digita "Stati Uniti" per visualizzare i fusi orari degli Stati Uniti.
   5. Destinazione: "HTTP"
   6. URL:inserisci il seguente URL dopo aver inseritoyour-project-id. Sostituisci "us-central1" se hai creato il modello di flusso di lavoro in un'altra regione. Questo URL chiamerà l'API Dataproc workflowTemplates.instantiate per eseguire il modello di flusso di lavoro sparkpi.

      https://dataproc.googleapis.com/v1/projects/your-project-id/regions/us-central1/workflowTemplates/sparkpi:instantiate?alt=json
      

   7. Metodo HTTP:
      1. "POST"
      2. Testo: "{}"
         Se il job pianificato esegue un flusso di lavoro parametrizzato, puoi passare i parametri al flusso di lavoro utilizzando un payload JSON nel testo:

         {"parameters": {"PARAMETER_NAME": "VALUE"}}
         

   8. Intestazione autorizzazione:
      1. "Aggiungi token OAuth"
      2. Account di servizio: inserisci il service account address dell'account di servizio che hai creato per questo tutorial. Dopo aver inserito your-project-id, puoi utilizzare il seguente indirizzo account:

         [e-mail]
         

      3. Ambito:puoi ignorare questo elemento.
   9. Fai clic su CREA.

Testa il job del flusso di lavoro pianificato

1. Nella riga del job sparkpi nella pagina Job di Cloud Scheduler, fai clic su Esegui ora.

2. Attendi qualche minuto, quindi apri la pagina Dataproc Workflow per verificare che il flusso di lavoro sparkpi sia stato completato.

   

3. Dopo che il flusso di lavoro ha eliminato il cluster gestito, i dettagli del job rimangono nella console Google Cloud. Fai clic sul job compute... elencato nella pagina Job di Dataproc per visualizzare i dettagli del job del flusso di lavoro.

   

Pulizia

Il flusso di lavoro in questo tutorial elimina il cluster gestito quando viene completato. La conservazione del flusso di lavoro ti consente di eseguirlo di nuovo e non comporta costi. Puoi eliminare altre risorse create in questo tutorial per evitare costi ricorrenti.

Eliminazione di un progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminazione del modello di flusso di lavoro

gcloud dataproc workflow-templates delete sparkpi \
    --region=us-central1

Eliminare il job Cloud Scheduler

Apri la pagina Job di Cloud Scheduler nella console Google Cloud, seleziona la casella a sinistra della funzione sparkpi e poi fai clic su ELIMINA.

Eliminazione dell'account di servizio

Apri la pagina IAM e amministrazione → Account di servizio nella console Google Cloud, seleziona la casella a sinistra dell'account di servizio workflow-scheduler... e poi fai clic su ELIMINA.

Passaggi successivi

• Consulta la Panoramica dei modelli di flusso di lavoro Dataproc
• Consulta la sezione Soluzioni di pianificazione del flusso di lavoro