Flusso di lavoro con Cloud Functions

Obiettivo:

1. Creare un modello di flusso di lavoro Dataproc che esegue un job di conteggio delle parole
2. Crea una funzione Cloud Node.js per attivare il flusso di lavoro di conteggio parole quando un file viene aggiunto a Cloud Storage

I flussi di lavoro sono "attiva e dimentica". Se non ci sono eccezioni quando viene inviata la funzione che attiva il flusso di lavoro, Dataproc lo esegue fino al completamento. Non è necessario attendere il completamento del flusso di lavoro all'interno della funzione di attivazione.

Nota: poiché la funzione viene attivata aggiungendo un nuovo file a un bucket in Cloud Storage, e dato che il programma binario del conteggio delle parole crea e genera nuovi file in Cloud Storage, per evitare la ricorsione (il conteggio delle parole elabora i file di output), questo tutorial utilizza bucket di input e di output distinti.

Prima di iniziare

Se non lo hai già fatto, configura un progetto Google Cloud e due (2) bucket Cloud Storage.

Configura il progetto

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

4. Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .

   Abilita le API

5. Installa Google Cloud CLI.

6. Per inizializzare l'interfaccia a riga di comando gcloud, esegui il comando seguente:

   gcloud init

7. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

8. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

9. Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .

   Abilita le API

10. Installa Google Cloud CLI.

11. Per inizializzare l'interfaccia a riga di comando gcloud, esegui il comando seguente:

    gcloud init

Crea o utilizza due (2) bucket Cloud Storage nel tuo progetto

Nel progetto avrai bisogno di due bucket Cloud Storage: uno per i file di input e uno per l'output.

1. Nella console, vai alla pagina Browser Cloud Storage.

   Vai al browser

2. Fai clic su Crea bucket.
3. Nella pagina Crea un bucket, inserisci le informazioni sul bucket. Per andare al passaggio successivo, fai clic su Continua.
   • Per Assegna un nome al bucket, inserisci un nome che soddisfi i requisiti per la denominazione dei bucket.
   • Per scegliere dove archiviare i dati, segui questi passaggi:
     • Seleziona un'opzione Tipo di località.
     • Seleziona un'opzione Località.
   • Per Scegliere una classe di archiviazione predefinita per i tuoi dati, seleziona una classe di archiviazione.
   • In Scegli come controllare l'accesso agli oggetti, seleziona un'opzione di Controllo dell'accesso.
   • (Facoltativo) Per le Impostazioni avanzate, specifica un metodo di crittografia, un criterio di conservazione o etichette di bucket.
4. Fai clic su Crea.

Creare un modello di flusso di lavoro.

Copia ed esegui i comandi elencati di seguito in una finestra del terminale locale o in Cloud Shell per creare e definire un modello di flusso di lavoro.

Note

• I comandi specificano l'area geografica "&ust-central1". Puoi specificare un'altra regione o eliminare il flag --region se in precedenza hai eseguito gcloud config set compute/region per impostare la proprietà della regione.
• La sequenza "-- " (trattino trattino) passa argomenti al file jar. Il comando wordcount input_bucket output_dir eseguirà l'applicazione di conteggio delle parole jar sui file di testo contenuti in input_bucket di Cloud Storage, quindi genererà i file di conteggio delle parole in un output_bucket. Parametrizzerai l'argomento del bucket di input wordcount per consentire alla funzione di fornire questo argomento.

1. Crea il modello di flusso di lavoro.

   gcloud dataproc workflow-templates create wordcount-template \
       --region=us-central1
   

2. Aggiungi il job di conteggio parole al modello del flusso di lavoro.
   1. Specifica output-bucket-name prima di eseguire il comando (la funzione fornirà il bucket di input). Dopo aver inserito il nome del bucket di output, l'argomento del bucket di output dovrebbe essere il seguente: gs://your-output-bucket/wordcount-output".
   2. L'ID passaggio "count" è obbligatorio e identifica il job hadoop aggiunto.

   gcloud dataproc workflow-templates add-job hadoop \
       --workflow-template=wordcount-template \
       --step-id=count \
       --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
       --region=us-central1 \
       -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
   

3. Per eseguire il flusso di lavoro, utilizza un cluster gestito a nodo singolo. Dataproc crea il cluster, vi esegue il flusso di lavoro, quindi elimina il cluster al termine del flusso di lavoro.

   gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
       --cluster-name=wordcount \
       --single-node \
       --region=us-central1
   

4. Fai clic sul nome wordcount-template nella pagina Flussi di lavoro di Dataproc nella console Google Cloud per aprire la pagina Dettagli del modello di flusso di lavoro. Conferma gli attributi wordcount-template.

   

Parametrizzazione del modello di flusso di lavoro.

Parametrizza la variabile del bucket di input da trasmettere al modello del flusso di lavoro.

1. Esporta il modello del flusso di lavoro in un file di testo wordcount.yaml per la parametrizzazione.

   gcloud dataproc workflow-templates export wordcount-template \
       --destination=wordcount.yaml \
       --region=us-central1
   

2. Utilizzando un editor di testo, apri wordcount.yaml, quindi aggiungi un blocco parameters alla fine del file YAML in modo che Cloud Storage INPUT_BUCKET_URI possa essere passato come args[1] al programma binario del conteggio parole quando viene attivato il flusso di lavoro.

   Di seguito è riportato un file YAML esportato di esempio. Per aggiornare il modello puoi scegliere uno dei due approcci seguenti:

   1. Copia e incolla l'intero file per sostituire wordcount.yaml dopo aver sostituito your-output_bucket con il nome del bucket di output OPPURE
   2. Copia e incolla solo la sezione parameters alla fine del file wordcount.yaml esportato.
   .

   jobs:
   - hadoopJob:
       args:
       - wordcount
       - gs://input-bucket
       - gs://your-output-bucket/wordcount-output
       mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
     stepId: count
   placement:
     managedCluster:
       clusterName: wordcount
       config:
         softwareConfig:
           properties:
             dataproc:dataproc.allow.zero.workers: 'true'
   parameters:
   - name: INPUT_BUCKET_URI
     description: wordcount input bucket URI
     fields:
     - jobs['count'].hadoopJob.args[1]
   

3. Importa il file di testo wordcount.yaml con parametri. Digita 'Y'es quando ti viene chiesto di sovrascrivere il modello.

   gcloud dataproc workflow-templates import  wordcount-template \
       --source=wordcount.yaml \
       --region=us-central1
   

Crea una funzione Cloud

1. Apri la pagina Cloud Functions in Google Cloud Console, quindi fai clic su CREA FUNZIONE.

2. Nella pagina Crea funzione, inserisci o seleziona le seguenti informazioni:

   1. Nome: wordcount
   2. Memoria allocata: conserva la selezione predefinita.
   3. Attivatore:
      • Cloud Storage
      • Tipo di evento: Finalizzazione/creazione
      • Bucket: seleziona il bucket di input (consulta Creare un bucket Cloud Storage nel progetto). Quando un file viene aggiunto a questo bucket, la funzione attiva il flusso di lavoro. Il flusso di lavoro eseguirà l'applicazione wordcount, che elaborerà tutti i file di testo nel bucket.

   4. Codice sorgente:

      • Editor in linea
      • Runtime: Node.js 8
      • Scheda INDEX.JS: sostituisci lo snippet di codice predefinito con il seguente codice, quindi modifica la riga const projectId per fornire -your-project-id- (senza un "-" iniziale o finale).

      const dataproc = require('@google-cloud/dataproc').v1;
      
      exports.startWorkflow = (data) => {
       const projectId = '-your-project-id-'
       const region = 'us-central1'
       const workflowTemplate = 'wordcount-template'
      
      const client = new dataproc.WorkflowTemplateServiceClient({
         apiEndpoint: `${region}-dataproc.googleapis.com`,
      });
      
      const file = data;
      console.log("Event: ", file);
      
      const inputBucketUri = `gs://${file.bucket}/${file.name}`;
      
      const request = {
        name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
        parameters: {"INPUT_BUCKET_URI": inputBucketUri}
      };
      
      client.instantiateWorkflowTemplate(request)
        .then(responses => {
          console.log("Launched Dataproc Workflow:", responses[1]);
        })
        .catch(err => {
          console.error(err);
        });
      };
      

      • Scheda PACKAGE.JSON: sostituisci lo snippet di codice predefinito con il codice seguente.

      {
        "name": "dataproc-workflow",
        "version": "1.0.0",
        "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
      }
      

      • Funzione da eseguire: inserisci: "startWorkflow".

   5. Fai clic su CREA.

Testare la funzione

1. Copia il file pubblico rose.txt nel tuo bucket per attivare la funzione. Inserisci your-input-bucket-name (il bucket utilizzato per attivare la funzione) nel comando.

   gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
   

2. Attendi 30 secondi, quindi esegui il comando seguente per verificare che la funzione sia stata completata correttamente.

   gcloud functions logs read wordcount
   

   ...
   Function execution took 1348 ms, finished with status: 'ok'
   

3. Per visualizzare i log delle funzioni dalla pagina dell'elenco Funzioni in Google Cloud Console, fai clic sul nome della funzione wordcount, quindi su VISUALIZZA LOG nella pagina Dettagli funzione.

   

4. Puoi visualizzare la cartella wordcount-output nel bucket di output dalla pagina Browser Storage in Google Cloud Console.

   

   Nota: il job di conteggio parole non riuscirà se la cartella wordcount-output esiste. Prima di eseguire nuovamente il flusso di lavoro, riattivando la funzione, elimina la cartella wordcount-output nel bucket di output. .

5. Una volta completato il flusso di lavoro, i dettagli del job persistono in Google Cloud Console. Fai clic sul job count... elencato nella pagina Job di Dataproc per visualizzare i dettagli del job del flusso di lavoro.

   

Pulizia

Al termine del flusso di lavoro in questo tutorial, viene eliminato il cluster gestito. Per evitare costi ricorrenti, puoi eliminare altre risorse associate a questo tutorial.

Eliminazione di un progetto

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per questo tutorial, quando lo elimini elimini anche qualsiasi altro lavoro svolto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più tutorial e guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. In Google Cloud Console, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Eliminazione dei bucket Cloud Storage

1. Nella console di Google Cloud, vai alla pagina Browser di Cloud Storage.

   Vai al browser

2. Fai clic sulla casella di controllo del bucket che vuoi eliminare.
3. Per eliminare il bucket, fai clic su Elimina, quindi segui le istruzioni.

Eliminazione del modello di flusso di lavoro

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Eliminazione della funzione Cloud Functions in corso...

Apri la pagina Cloud Functions in Google Cloud Console, seleziona la casella a sinistra della funzione wordcount, quindi fai clic su ELIMINA.

Passaggi successivi

• Vedi Panoramica dei modelli di flusso di lavoro Dataproc
• Vedi Soluzioni di pianificazione dei flussi di lavoro