Flusso di lavoro con le funzioni Cloud Run

Obiettivo:

1. Crea un modello di flusso di lavoro Dataproc che esegue un job di conteggio parole
2. Crea una funzione Cloud Node.js per attivare il flusso di lavoro di conteggio delle parole quando un file viene aggiunto a Cloud Storage

I flussi di lavoro sono di tipo "fire and forget". Se non vengono rilevate eccezioni quando viene inviata la funzione che attiva il flusso di lavoro, Dataproc eseguirà il flusso di lavoro fino al completamento. Non è necessario attendere il completamento del flusso di lavoro all'interno della funzione di attivazione.

Nota: poiché la funzione viene attivata aggiungendo un nuovo file a un bucket in Cloud Storage e poiché il file binario di conteggio parole crea e genera nuovi file in Cloud Storage, per evitare la ricorsione (il conteggio parole elabora i file di output), questo tutorial utilizza bucket di input e di output separati.

Prima di iniziare

Se non l'hai ancora fatto, configura un progetto Google Cloud e due (2) bucket Cloud Storage.

Configura il progetto

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

   Enable the APIs

5. Install the Google Cloud CLI.

6. To initialize the gcloud CLI, run the following command:

   gcloud init

7. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

8. Make sure that billing is enabled for your Google Cloud project.

9. Enable the Dataproc, Compute Engine, Cloud Storage, and Cloud Run functions APIs.

   Enable the APIs

10. Install the Google Cloud CLI.

11. To initialize the gcloud CLI, run the following command:

    gcloud init

Crea o utilizza due (2) bucket Cloud Storage nel tuo progetto

Nel tuo progetto avrai bisogno di due bucket Cloud Storage: uno per i file di input e uno per l'output.

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets page

2. Click Create bucket.
3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
   • For Name your bucket, enter a name that meets the bucket naming requirements.
   • For Choose where to store your data, do the following:
     • Select a Location type option.
     • Select a Location option.
   • For Choose a default storage class for your data, select a storage class.
   • For Choose how to control access to objects, select an Access control option.
   • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
4. Click Create.

Crea un modello di workflow.

Copia ed esegui i comandi elencati di seguito in una finestra del terminale locale o in Cloud Shell per creare e definire un modello di flusso di lavoro.

Note:

• I comandi specificano la regione "us-central1". Puoi specificare una regione diversa o eliminare il flag --region se in precedenza hai eseguito gcloud config set compute/region per impostare la proprietà regione.
• La sequenza "-- " (barra spaziatrice barra) passa gli argomenti al file jar. Il comando wordcount input_bucket output_dir eseguirà l'applicazione di conteggio delle parole del file jar sui file di testo contenuti nel input_bucket di Cloud Storage, quindi genererà i file di conteggio delle parole in un output_bucket. Parametrizzerai l'argomento del bucket di input di conteggio parole per consentire alla funzione di fornirlo.

1. Crea il modello di workflow.

   gcloud dataproc workflow-templates create wordcount-template \
       --region=us-central1
   

2. Aggiungi il job di conteggio parole al modello di workflow.
   1. Specifica output-bucket-name prima di eseguire il comando (la funzione fornirà il bucket di input). Dopo aver inserito il nome del bucket di output, l'argomento del bucket di output dovrebbe essere visualizzato come segue: gs://your-output-bucket/wordcount-output".
   2. L'ID del passaggio "count" è obbligatorio e identifica il job Hadoop aggiunto.

   gcloud dataproc workflow-templates add-job hadoop \
       --workflow-template=wordcount-template \
       --step-id=count \
       --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
       --region=us-central1 \
       -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
   

3. Utilizza un cluster a nodo singolo gestito per eseguire il flusso di lavoro. Dataproc creerà il cluster, eseguirà il flusso di lavoro al suo interno ed eliminerà il cluster al termine del flusso di lavoro.

   gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
       --cluster-name=wordcount \
       --single-node \
       --region=us-central1
   

4. Fai clic sul nome wordcount-template nella pagina Dataproc Flussi di lavoro nella console Google Cloud per aprire la pagina Dettagli del modello di flusso di lavoro. Conferma gli attributi wordcount-template.

   

Parametrizza il modello di workflow.

Parametrizza la variabile del bucket di input da passare al modello di flusso di lavoro.

1. Esporta il modello di flusso di lavoro in un file di testo wordcount.yaml per la parametrizzazione.

   gcloud dataproc workflow-templates export wordcount-template \
       --destination=wordcount.yaml \
       --region=us-central1
   

2. Utilizzando un editor di testo, apri wordcount.yaml, quindi aggiungi un blocco parameters alla fine del file YAML in modo che l'URI INPUT_BUCKET_URI di Cloud Storage possa essere passato come args[1] al file binario di conteggio parole quando viene attivato il flusso di lavoro.

   Di seguito è riportato un file YAML di esempio esportato. Puoi scegliere uno dei due approcci per aggiornare il modello:

   1. Copia e incolla l'intero file per sostituire il file esportato wordcount.yaml dopo aver sostituito your-output_bucket con il nome del bucket di output OPPURE
   2. Copia e incolla solo la sezione parameters alla fine del file wordcount.yaml esportato.
   .

   jobs:
   - hadoopJob:
       args:
       - wordcount
       - gs://input-bucket
       - gs://your-output-bucket/wordcount-output
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: count
   placement:
     managedCluster:
       clusterName: wordcount
       config:
         softwareConfig:
           properties:
             dataproc:dataproc.allow.zero.workers: 'true'
   parameters:
   - name: INPUT_BUCKET_URI
     description: wordcount input bucket URI
     fields:
     - jobs['count'].hadoopJob.args[1]
   

3. Importa il file di testo wordcount.yaml parametrizzato. Digita "Sì" quando ti viene chiesto di sovrascrivere il modello.

   gcloud dataproc workflow-templates import  wordcount-template \
       --source=wordcount.yaml \
       --region=us-central1
   

Creare una funzione Cloud

1. Apri la pagina Funzioni Cloud Run nella console Google Cloud, poi fai clic su CREA FUNZIONE.

2. Nella pagina Crea funzione, inserisci o seleziona le seguenti informazioni:

   1. Nome: conteggioparole
   2. Memoria allocata:mantieni la selezione predefinita.
   3. Trigger:
      • Cloud Storage
      • Tipo di evento: Finalizza/crea
      • Bucket: seleziona il bucket di input (consulta Crea un bucket Cloud Storage nel tuo progetto). Quando un file viene aggiunto a questo bucket, la funzione attiverà il flusso di lavoro. Il flusso di lavoro eseguirà l'applicazione di conteggio delle parole, che elaborerà tutti i file di testo nel bucket.

   4. Codice sorgente:

      • Editor in linea
      • Runtime: Node.js 8
      • Scheda INDEX.JS: sostituisci lo snippet di codice predefinito con il codice riportato di seguito, quindi modifica la riga const projectId in modo da fornire-your-project-id- (senza "-" iniziale o finale).

      const dataproc = require('@google-cloud/dataproc').v1;
      
      exports.startWorkflow = (data) => {
       const projectId = '-your-project-id-'
       const region = 'us-central1'
       const workflowTemplate = 'wordcount-template'
      
      const client = new dataproc.WorkflowTemplateServiceClient({
         apiEndpoint: `${region}-dataproc.googleapis.com`,
      });
      
      const file = data;
      console.log("Event: ", file);
      
      const inputBucketUri = `gs://${file.bucket}/${file.name}`;
      
      const request = {
        name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
        parameters: {"INPUT_BUCKET_URI": inputBucketUri}
      };
      
      client.instantiateWorkflowTemplate(request)
        .then(responses => {
          console.log("Launched Dataproc Workflow:", responses[1]);
        })
        .catch(err => {
          console.error(err);
        });
      };
      

      • Scheda PACKAGE.JSON: sostituisci lo snippet di codice predefinito con il seguente codice.

      {
        "name": "dataproc-workflow",
        "version": "1.0.0",
        "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
      }
      

      • Funzione da eseguire: inserisci "startWorkflow".

   5. Fai clic su CREA.

Testa la funzione

1. Copia il file pubblico rose.txt nel tuo bucket per attivare la funzione. Inserisciyour-input-bucket-name (il bucket utilizzato per attivare la funzione) nel comando.

   gcloud storage cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
   

2. Attendi 30 secondi, quindi esegui il comando seguente per verificare che la funzione sia stata completata correttamente.

   gcloud functions logs read wordcount
   

   ...
   Function execution took 1348 ms, finished with status: 'ok'
   

3. Per visualizzare i log della funzione dalla pagina dell'elenco Funzioni nella console Google Cloud, fai clic sul nome della funzione wordcount, quindi su VISUALIZZA LOG nella pagina Dettagli funzione.

   

4. Puoi visualizzare la cartella wordcount-output nel bucket di output dalla pagina Browser di archiviazione nella console Google Cloud.

   

   Nota: il job di conteggio delle parole non andrà a buon fine se esiste la cartella wordcount-output. Prima di eseguire nuovamente il flusso di lavoro riattivando la funzione, elimina la cartella wordcount-output nel bucket di output. .

5. Al termine del flusso di lavoro, i dettagli del job rimangono nella console Google Cloud. Fai clic sul job count... elencato nella pagina Job di Dataproc per visualizzare i dettagli del job del flusso di lavoro.

   

Pulizia

Il flusso di lavoro in questo tutorial elimina il cluster gestito quando viene completato. Per evitare costi ricorrenti, puoi eliminare altre risorse associate a questo tutorial.

Eliminazione di un progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminazione dei bucket Cloud Storage

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click the checkbox for the bucket that you want to delete.
3. To delete the bucket, click Delete, and then follow the instructions.

Eliminazione del modello di flusso di lavoro

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Eliminazione della funzione Cloud

Apri la pagina Funzioni Cloud Run nella console Google Cloud, seleziona la casella a sinistra della funzione wordcount e poi fai clic su ELIMINA.

Passaggi successivi

• Consulta la Panoramica dei modelli di flusso di lavoro Dataproc
• Consulta la sezione Soluzioni di pianificazione del flusso di lavoro