Esegui più job BigQuery in parallelo

---

BigQuery ospita una serie di set di dati pubblici disponibili per le query al pubblico. In questo tutorial creerai un flusso di lavoro che esegue più job di query BigQuery in parallelo, dimostrando un miglioramento delle prestazioni rispetto all'esecuzione dei job in serie, uno dopo l'altro.

Obiettivi

In questo tutorial, imparerai a:

1. Esegui una query su un set di dati pubblico di Wikipedia per determinare i titoli più visualizzati in un mese specifico.
2. Eseguire il deployment e un flusso di lavoro che esegue più job di query BigQuery in serie, uno dopo l'altro.
3. Esegui il deployment e un flusso di lavoro che esegue i job BigQuery utilizzando l'iterazione parallela e dove vengono eseguiti in parallelo i normali loop for.

Puoi eseguire i comandi seguenti nella console Google Cloud o utilizzando Google Cloud CLI nel terminale o in Cloud Shell.

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• BigQuery
• Workflows

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Prima di iniziare

I vincoli di sicurezza definiti dalla tua organizzazione potrebbero impedirti di completare i passaggi seguenti. Per informazioni sulla risoluzione dei problemi, vedi Sviluppare applicazioni in un ambiente Google Cloud vincolato.

Console

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Attiva l'API Workflows.

   Abilita l'API

5. Create a service account:

   1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
   2. Select your project.

   3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

   4. Click Create and continue.

   5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

      Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   6. Click Continue.

   7. Click Done to finish creating the service account.

6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

7. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

8. Attiva l'API Workflows.

   Abilita l'API

9. Create a service account:

   1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
   2. Select your project.

   3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

   4. Click Create and continue.

   5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

      Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   6. Click Continue.

   7. Click Done to finish creating the service account.

gcloud

1. Accedi al tuo Account Google.

   Se non ne hai già uno, crea un nuovo account.

2. Installa Google Cloud CLI.

3. Per initialize gcloud CLI, esegui questo comando:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

6. Attiva l'API Workflows.

   gcloud services enable workflows.googleapis.com

7. Set up authentication:

   1. Create the service account:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Replace SERVICE_ACCOUNT_NAME with a name for the service account.

   2. Grant roles to the service account. Run the following command once for each of the following IAM roles: roles/bigquery.jobUser, roles/logging.logWriter:

      gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

      Replace the following:

      • SERVICE_ACCOUNT_NAME: the name of the service account
      • PROJECT_ID: the project ID where you created the service account
      • ROLE: the role to grant
      Note: The --role flag affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
8. Installa Google Cloud CLI.

9. Per initialize gcloud CLI, esegui questo comando:

   gcloud init

10. Create or select a Google Cloud project.

    Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

11. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

12. Attiva l'API Workflows.

    gcloud services enable workflows.googleapis.com

13. Set up authentication:

    1. Create the service account:

       gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

       Replace SERVICE_ACCOUNT_NAME with a name for the service account.

    2. Grant roles to the service account. Run the following command once for each of the following IAM roles: roles/bigquery.jobUser, roles/logging.logWriter:

       gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

       Replace the following:

       • SERVICE_ACCOUNT_NAME: the name of the service account
       • PROJECT_ID: the project ID where you created the service account
       • ROLE: the role to grant
       Note: The --role flag affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.

Eseguire un job di query BigQuery

In BigQuery puoi eseguire un job di query interattivo (on demand). Per maggiori informazioni, consulta Esecuzione di job di query interattivi e batch.

Console

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Inserisci la seguente query SQL di BigQuery nell'area di testo Editor query:

   SELECT TITLE, SUM(views)
   FROM `bigquery-samples.wikipedia_pageviews.201207h`
   GROUP BY TITLE
   ORDER BY SUM(views) DESC
   LIMIT 100
   

3. Fai clic su Esegui.

bq

Nel terminale, inserisci il seguente comando bq query per eseguire una query interattiva utilizzando la sintassi SQL standard:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Viene eseguita una query che restituisce i primi 100 titoli di Wikipedia con il maggior numero di visualizzazioni in un mese specifico e scrive l'output in una tabella temporanea.

Annota il tempo necessario per l'esecuzione della query.

Esegui il deployment di un flusso di lavoro che esegue più query in serie

Una definizione di flusso di lavoro è composta da una serie di passaggi descritti utilizzando la sintassi di Workflows. Dopo aver creato un flusso di lavoro, esegui il deployment per renderlo disponibile per l'esecuzione. Il passaggio di deployment permette anche di eseguire il file di origine.

Il seguente flusso di lavoro definisce un elenco di cinque tabelle su cui eseguire una query utilizzando il connettore BigQuery di Workflows. Le query vengono eseguite in serie, una dopo l'altra, e i titoli più visualizzati di ogni tabella vengono salvati in una mappa dei risultati.

Console

1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

   Vai a Workflows

2. Fai clic su Crea.

3. Inserisci un nome per il nuovo flusso di lavoro, ad esempio workflow-serial-bqjobs.

4. Scegli una regione appropriata, ad esempio us-central1.

5. Seleziona l'account di servizio che hai creato in precedenza.

   Dovresti aver già concesso i ruoli IAM Utente job BigQuery > BigQuery e Logging > Writer log all'account di servizio.

6. Tocca Avanti.

7. Nell'editor del flusso di lavoro, inserisci la definizione seguente per il flusso di lavoro:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Fai clic su Esegui il deployment.

gcloud

1. Apri un terminale e crea un file di codice sorgente per il tuo flusso di lavoro:

   touch workflow-serial-bqjobs.yaml
   

2. Copia il seguente flusso di lavoro nel file di codice sorgente:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Esegui il deployment del flusso di lavoro inserendo il seguente comando:

   gcloud workflows deploy workflow-serial-bqjobs \
      --source=workflow-serial-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   Sostituisci MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM con l'indirizzo email dell'account di servizio che hai creato in precedenza.

   Dovresti aver già concesso i ruoli IAM roles/bigquery.jobUser e roles/logging.logWriter all'account di servizio.

Esegui il flusso di lavoro ed esegui più query in modo seriale

L'esecuzione di un flusso di lavoro esegue l'attuale definizione del flusso di lavoro associata al flusso di lavoro.

Console

1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

   Vai a Workflows

2. Nella pagina Flussi di lavoro, seleziona il flusso di lavoro workflow-serial-bqjobs per andare alla relativa pagina dei dettagli.

3. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

4. Fai di nuovo clic su Execute (Esegui).

5. Visualizza i risultati del flusso di lavoro nel riquadro Output.

gcloud

1. Apri un terminale.

2. Esegui il flusso di lavoro:

    gcloud workflows run workflow-serial-bqjob

L'esecuzione del flusso di lavoro dovrebbe richiedere circa un minuto o cinque volte rispetto al tempo di esecuzione precedente. Il risultato includerà ogni tabella e sarà simile al seguente:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Eseguire il deployment e l'esecuzione di un flusso di lavoro che esegue più query in parallelo

Anziché eseguire cinque query in sequenza, puoi eseguirle in parallelo apportando alcune modifiche:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

• Un passaggio parallel consente di eseguire in parallelo ogni iterazione del loop for.

• La variabile results viene dichiarata come shared, perciò può essere scrivibile da un ramo e può essere aggiunto il risultato di ogni ramo.

Console

1. Nella console Google Cloud, vai alla pagina Flussi di lavoro:

   Vai a Workflows

2. Fai clic su Crea.

3. Inserisci un nome per il nuovo flusso di lavoro, ad esempio workflow-parallel-bqjobs.

4. Scegli una regione appropriata, ad esempio us-central1.

5. Seleziona l'account di servizio che hai creato in precedenza.

6. Tocca Avanti.

7. Nell'editor del flusso di lavoro, inserisci la definizione seguente per il flusso di lavoro:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Fai clic su Esegui il deployment.

9. Nella pagina Dettagli flusso di lavoro, fai clic su Esegui.

10. Fai di nuovo clic su Execute (Esegui).

11. Visualizza i risultati del flusso di lavoro nel riquadro Output.

gcloud

1. Apri un terminale e crea un file di codice sorgente per il tuo flusso di lavoro:

   touch workflow-parallel-bqjobs.yaml
   

2. Copia il seguente flusso di lavoro nel file di codice sorgente:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Esegui il deployment del flusso di lavoro inserendo il seguente comando:

   gcloud workflows deploy workflow-parallell-bqjobs \
      --source=workflow-parallel-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   Sostituisci MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM con l'indirizzo email dell'account di servizio che hai creato in precedenza.

4. Esegui il flusso di lavoro:

    gcloud workflows run workflow-serial-bqjob

Il risultato sarà simile all'output precedente, ma l'esecuzione del flusso di lavoro dovrebbe richiedere circa venti secondi o meno.

Esegui la pulizia

Se hai creato un nuovo progetto per questo tutorial, elimina il progetto. Se hai utilizzato un progetto esistente e vuoi conservarlo senza le modifiche aggiunte in questo tutorial, elimina le risorse create per il tutorial.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Elimina risorse tutorial

Elimina i flussi di lavoro creati in questo tutorial:

gcloud workflows delete WORKFLOW_NAME

Passaggi successivi

• Per scoprire di più sui passaggi paralleli, consulta Eseguire passaggi paralleli.
• Per scoprire di più sui connettori Workflows, consulta Informazioni sui connettori.
• Per saperne di più su Workflows, vedi la panoramica dei flussi di lavoro.