Flusso di lavoro con Cloud Functions

Prima di iniziare

Se non l'hai ancora fatto, configura un progetto Google Cloud e due (2) bucket Cloud Storage.

Configura il progetto

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
  2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .

    Abilita le API

  5. Installa Google Cloud CLI.
  6. Per initialize gcloud CLI, esegui questo comando:

    gcloud init
  7. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  8. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  9. Abilita le API Dataproc, Compute Engine, Cloud Storage, and Cloud Functions .

    Abilita le API

  10. Installa Google Cloud CLI.
  11. Per initialize gcloud CLI, esegui questo comando:

    gcloud init

Crea o utilizza due (2) bucket Cloud Storage nel progetto

Nel progetto sono necessari due bucket Cloud Storage: uno per i file di input e uno per l'output.

  1. Nella console Google Cloud, vai alla pagina Bucket di Cloud Storage.

    Vai alla pagina Bucket

  2. Fai clic su Crea bucket.
  3. Nella pagina Crea un bucket, inserisci le informazioni del bucket. Per andare al passaggio successivo, fai clic su Continua.
  4. Fai clic su Crea.

Crea un modello di flusso di lavoro.

Copia ed esegui i comandi elencati di seguito in una finestra del terminale locale o in Cloud Shell per creare e definire un modello di flusso di lavoro.

Note:

  • I comandi specificano la regione "us-central1". Puoi specificare una regione diversa o eliminare il flag --region se in precedenza hai eseguito gcloud config set compute/region per impostare la proprietà della regione.
  • La sequenza "-- " (spazio tra trattini e trattini) passa gli argomenti al file jar. Il comando wordcount input_bucket output_dir eseguirà l'applicazione di conteggio parole jar sui file di testo contenuti nell'elemento input_bucket di Cloud Storage, quindi genererà i file di conteggio parole su un file output_bucket. Per consentire alla funzione di fornire questo argomento, parametrizzerai l'argomento bucket di input del conteggio delle parole.

  1. Crea il modello di flusso di lavoro.

    gcloud dataproc workflow-templates create wordcount-template \
        --region=us-central1
    

  2. Aggiungi il job di conteggio parole al modello di flusso di lavoro.
    1. Specifica output-bucket-name prima di eseguire il comando (la tua funzione fornirà il bucket di input). Dopo aver inserito output-bucket-name, l'argomento del bucket di output dovrebbe essere letto come segue: gs://your-output-bucket/wordcount-output".
    2. L'ID passaggio "count" è obbligatorio e identifica il job Hadoop aggiunto.

    gcloud dataproc workflow-templates add-job hadoop \
        --workflow-template=wordcount-template \
        --step-id=count \
        --jar=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \
        --region=us-central1 \
        -- wordcount gs://input-bucket gs://output-bucket-name/wordcount-output
    

  3. Utilizza un cluster gestito a nodo singolo per eseguire il flusso di lavoro. Dataproc creerà il cluster, eseguirà il flusso di lavoro su di esso, quindi eliminerà il cluster al termine del flusso di lavoro.

    gcloud dataproc workflow-templates set-managed-cluster wordcount-template \
        --cluster-name=wordcount \
        --single-node \
        --region=us-central1
    

  4. Fai clic sul nome wordcount-template nella pagina Flussi di lavoro di Dataproc nella console Google Cloud per aprire la pagina Dettagli del modello di flusso di lavoro. Conferma gli attributi wordcount-template.

Parametrizza il modello del flusso di lavoro.

Parametrizza la variabile del bucket di input da passare al modello di flusso di lavoro.

  1. Esporta il modello del flusso di lavoro in un file di testo wordcount.yaml per la parametrizzazione.
    gcloud dataproc workflow-templates export wordcount-template \
        --destination=wordcount.yaml \
        --region=us-central1
    
  2. Utilizzando un editor di testo, apri wordcount.yaml, quindi aggiungi un blocco parameters alla fine del file YAML in modo che INPUT_BUCKET_URI di Cloud Storage possa essere passato come args[1] al programma binario del conteggio parole quando viene attivato il flusso di lavoro.

    Di seguito è riportato un file YAML esportato di esempio. Per aggiornare il modello puoi adottare uno dei due approcci indicati di seguito:

    1. Copia e incolla l'intero file per sostituire il valore wordcount.yaml esportato dopo aver sostituito your-output_bucket con il nome del bucket di output OPPURE
    2. Copia e incolla solo la sezione parameters alla fine del file wordcount.yaml esportato.
    .
    jobs:
    - hadoopJob:
        args:
        - wordcount
        - gs://input-bucket
        - gs://your-output-bucket/wordcount-output
        mainJarFileUri: file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar
      stepId: count
    placement:
      managedCluster:
        clusterName: wordcount
        config:
          softwareConfig:
            properties:
              dataproc:dataproc.allow.zero.workers: 'true'
    parameters:
    - name: INPUT_BUCKET_URI
      description: wordcount input bucket URI
      fields:
      - jobs['count'].hadoopJob.args[1]
    
  3. Importa il file di testo wordcount.yaml con parametri. Digita "Y" quando ti viene chiesto di sovrascrivere il modello.
    gcloud dataproc workflow-templates import  wordcount-template \
        --source=wordcount.yaml \
        --region=us-central1
    

Crea una funzione Cloud Functions

  1. Apri la pagina Cloud Functions nella console Google Cloud, quindi fai clic su CREA FUNZIONE.

  2. Nella pagina Crea funzione, inserisci o seleziona le seguenti informazioni:

    1. Nome: conteggio parole
    2. Memoria allocata:lascia la selezione predefinita.
    3. Attivazione:
      • Cloud Storage
      • Tipo di evento: Finalizza/Crea
      • Bucket: seleziona il bucket di input (consulta Creare un bucket Cloud Storage nel progetto). Quando un file viene aggiunto a questo bucket, la funzione attiva il flusso di lavoro. Il flusso di lavoro eseguirà l'applicazione per il conteggio delle parole, che elaborerà tutti i file di testo nel bucket.
    4. Codice sorgente:

      • Editor in linea
      • Runtime: Node.js 8
      • Scheda INDEX.JS: sostituisci lo snippet di codice predefinito con il seguente codice, poi modifica la riga const projectId in modo da fornire -your-project-id- (senza un carattere "-" iniziale o finale).
      const dataproc = require('@google-cloud/dataproc').v1;
      
      exports.startWorkflow = (data) => {
       const projectId = '-your-project-id-'
       const region = 'us-central1'
       const workflowTemplate = 'wordcount-template'
      
      const client = new dataproc.WorkflowTemplateServiceClient({
         apiEndpoint: `${region}-dataproc.googleapis.com`,
      });
      
      const file = data;
      console.log("Event: ", file);
      
      const inputBucketUri = `gs://${file.bucket}/${file.name}`;
      
      const request = {
        name: client.projectRegionWorkflowTemplatePath(projectId, region, workflowTemplate),
        parameters: {"INPUT_BUCKET_URI": inputBucketUri}
      };
      
      client.instantiateWorkflowTemplate(request)
        .then(responses => {
          console.log("Launched Dataproc Workflow:", responses[1]);
        })
        .catch(err => {
          console.error(err);
        });
      };
      
      • Scheda PACKAGE.JSON: sostituisci lo snippet di codice predefinito con il seguente codice.
      {
        "name": "dataproc-workflow",
        "version": "1.0.0",
        "dependencies":{ "@google-cloud/dataproc": ">=1.0.0"}
      }
      
      • Funzione da eseguire: inserire: "startWorkflow".
    5. Fai clic su CREA.

Testare la funzione

  1. Copia il file pubblico rose.txt nel bucket per attivare la funzione. Inserisci your-input-bucket-name (il bucket utilizzato per attivare la funzione) nel comando.

    gsutil cp gs://pub/shakespeare/rose.txt gs://your-input-bucket-name
    

  2. Attendi 30 secondi, quindi esegui il comando seguente per verificare che la funzione sia stata completata correttamente.

    gcloud functions logs read wordcount
    
    ...
    Function execution took 1348 ms, finished with status: 'ok'
    

  3. Per visualizzare i log delle funzioni dalla pagina dell'elenco Funzioni nella console Google Cloud, fai clic sul nome della funzione wordcount, quindi su VISUALIZZA LOG nella pagina Dettagli funzione.

  4. Puoi visualizzare la cartella wordcount-output nel bucket di output dalla pagina Browser Storage nella console Google Cloud.

  5. Al termine del flusso di lavoro, i dettagli del job vengono conservati nella console Google Cloud. Fai clic sul job count... elencato nella pagina Job di Dataproc per visualizzare i dettagli del job del flusso di lavoro.

Eseguire la pulizia

Il flusso di lavoro di questo tutorial elimina il cluster gestito al termine del flusso di lavoro. Per evitare costi ricorrenti, puoi eliminare altre risorse associate a questo tutorial.

Eliminazione di un progetto

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Eliminazione dei bucket Cloud Storage

  1. Nella console Google Cloud, vai alla pagina Bucket di Cloud Storage.

    Vai a Bucket

  2. Fai clic sulla casella di controllo relativa al bucket da eliminare.
  3. Per eliminare il bucket, fai clic su Elimina e segui le istruzioni.

Eliminazione del modello di flusso di lavoro

gcloud dataproc workflow-templates delete wordcount-template \
    --region=us-central1

Eliminazione della funzione Cloud Functions

Apri la pagina Cloud Functions nella console Google Cloud, seleziona la casella a sinistra della funzione wordcount, quindi fai clic su ELIMINA.

Passaggi successivi