Mehrere BigQuery-Jobs parallel ausführen

---

BigQuery hostet eine Reihe öffentlicher Datasets. die der Allgemeinheit zur Abfrage verfügbar sind. In dieser Anleitung erstellen Sie einen Workflow, der mehrere BigQuery-Abfragejobs parallel ausführt, Sie demonstrieren eine Leistungssteigerung gegenüber der Ausführung der Jobs. der Reihe nach, einer nach der anderen.

Lernziele

In dieser Anleitung werden Sie:

1. Abfrage für ein öffentliches Wikipedia-Dataset ausführen um die meistgesehenen Titel eines bestimmten Monats zu ermitteln.
2. Workflow bereitstellen und ausführen, der mehrere BigQuery-Abfragen ausführt der Reihe nach, einen nach dem anderen.
3. Einen Workflow bereitstellen und ausführen, der die BigQuery-Jobs ausführt mit paralleler Iteration, und normale for-Schleifen parallel ausgeführt werden.

Sie können die folgenden Befehle in der Google Cloud Console ausführen oder die die Google Cloud CLI entweder in Ihrem Terminal oder in Cloud Shell.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

• BigQuery
• Workflows

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Hinweise

Von Ihrer Organisation definierte Sicherheitsbeschränkungen verhindern möglicherweise, dass die folgenden Schritte ausgeführt werden. Informationen zur Fehlerbehebung finden Sie unter Anwendungen in einer eingeschränkten Google Cloud-Umgebung entwickeln.

Console

1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

4. Workflows API aktivieren.

   Aktivieren Sie die API

5. Create a service account:

   1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
   2. Select your project.

   3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

   4. Click Create and continue.

   5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

      Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   6. Click Continue.

   7. Click Done to finish creating the service account.

6. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

7. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

8. Workflows API aktivieren.

   Aktivieren Sie die API

9. Create a service account:

   1. In the Google Cloud console, go to the Create service account page.

      Go to Create service account
   2. Select your project.

   3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

      In the Service account description field, enter a description. For example, Service account for quickstart.

   4. Click Create and continue.

   5. Grant the following roles to the service account: BigQuery > BigQuery Job User, Logging > Logs Writer.

      To grant a role, find the Select a role list, then select the role.

      To grant additional roles, click Add another role and add each additional role.

      Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
   6. Click Continue.

   7. Click Done to finish creating the service account.

gcloud

1. Melden Sie sich bei Ihrem Google-Konto an.

   Wenn Sie noch kein Konto haben, melden Sie sich hier für ein neues Konto an.

2. Installieren Sie die Google Cloud CLI.

3. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

   gcloud init

4. Create or select a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   • Create a Google Cloud project:

     gcloud projects create PROJECT_ID

     Replace PROJECT_ID with a name for the Google Cloud project you are creating.

   • Select the Google Cloud project that you created:

     gcloud config set project PROJECT_ID

     Replace PROJECT_ID with your Google Cloud project name.

5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

6. Aktivieren Sie die Workflows API:

   gcloud services enable workflows.googleapis.com

7. Set up authentication:

   1. Create the service account:

      gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

      Replace SERVICE_ACCOUNT_NAME with a name for the service account.

   2. Grant roles to the service account. Run the following command once for each of the following IAM roles: roles/bigquery.jobUser, roles/logging.logWriter:

      gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

      Replace the following:

      • SERVICE_ACCOUNT_NAME: the name of the service account
      • PROJECT_ID: the project ID where you created the service account
      • ROLE: the role to grant
      Note: The --role flag affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
8. Installieren Sie die Google Cloud CLI.

9. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

   gcloud init

10. Create or select a Google Cloud project.

    Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

11. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

12. Aktivieren Sie die Workflows API:

    gcloud services enable workflows.googleapis.com

13. Set up authentication:

    1. Create the service account:

       gcloud iam service-accounts create SERVICE_ACCOUNT_NAME

       Replace SERVICE_ACCOUNT_NAME with a name for the service account.

    2. Grant roles to the service account. Run the following command once for each of the following IAM roles: roles/bigquery.jobUser, roles/logging.logWriter:

       gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE

       Replace the following:

       • SERVICE_ACCOUNT_NAME: the name of the service account
       • PROJECT_ID: the project ID where you created the service account
       • ROLE: the role to grant
       Note: The --role flag affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.

BigQuery-Abfragejob ausführen

In BigQuery können Sie einen interaktiven On-Demand-Abfragejob ausführen. Weitere Informationen finden Sie unter Interaktive Jobs und Batch-Abfragejobs ausführen.

Console

1. Öffnen Sie in der Google Cloud Console die Seite BigQuery.

   BigQuery aufrufen

2. Geben Sie die folgende BigQuery-SQL-Abfrage in den Textbereich des Abfrageeditors:

   SELECT TITLE, SUM(views)
   FROM `bigquery-samples.wikipedia_pageviews.201207h`
   GROUP BY TITLE
   ORDER BY SUM(views) DESC
   LIMIT 100
   

3. Klicken Sie auf Ausführen.

bq

Geben Sie in Ihrem Terminal den folgenden bq query-Befehl ein, um einen mit der Standard-SQL-Syntax erstellen:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Diese Abfrage führt eine Abfrage aus, die die Top-100-Wikipedia-Titel mit den meisten in einem bestimmten Monat angezeigt und die Ausgabe in eine temporäre Tabelle geschrieben wird.

Achten Sie darauf, wie lange die Ausführung der Abfrage dauert.

Workflow bereitstellen, der mehrere Abfragen nacheinander ausführt

Eine Workflow-Definition besteht aus einer Reihe von Schritten, die mithilfe des Workflows-Syntax: Nachdem Sie einen Workflow erstellt haben, stellen Sie sie bereit, damit sie ausgeführt werden kann. Der Bereitstellungsschritt validiert außerdem damit die Quelldatei ausgeführt werden kann.

Im folgenden Workflow wird eine Liste von fünf Tabellen definiert, für die eine Abfrage ausgeführt werden soll mit den Workflows BigQuery-Connector. Die Suchanfragen werden nacheinander ausgeführt, wobei die Titel mit den meisten Aufrufen ermittelt werden. aus jeder Tabelle in einer Ergebniszuordnung gespeichert werden.

Console

1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

   Zur Seite "Workflows"

2. Klicken Sie auf Erstellen.

3. Geben Sie einen Namen für den neuen Workflow ein, z. B. workflow-serial-bqjobs.

4. Wählen Sie eine geeignete Region aus, z. B. us-central1.

5. Wählen Sie das zuvor erstellte Dienstkonto aus.

   Sie sollten bereits sowohl das BigQuery-Team > BigQuery-Jobnutzer und Logging > IAM-Rollen des Logautors für den Dienst Konto.

6. Klicken Sie auf Weiter.

7. Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Klicken Sie auf Bereitstellen.

gcloud

1. Öffnen Sie ein Terminal und erstellen Sie eine Quellcodedatei für Ihren Workflow:

   touch workflow-serial-bqjobs.yaml
   

2. Kopieren Sie den folgenden Workflow in Ihre Quellcodedatei:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           for:
               value: table
               in: ${tables}
               steps:
               - logTable:
                   call: sys.log
                   args:
                       text: ${"Running query for table " + table}
               - runQuery:
                   call: googleapis.bigquery.v2.jobs.query
                   args:
                       projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                       body:
                           useLegacySql: false
                           useQueryCache: false
                           timeoutMs: 30000
                           # Find top 100 titles with most views on Wikipedia
                           query: ${
                               "SELECT TITLE, SUM(views)
                               FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                               WHERE LENGTH(TITLE) > 10
                               GROUP BY TITLE
                               ORDER BY SUM(VIEWS) DESC
                               LIMIT 100"
                               }
                   result: queryResult
               - returnResult:
                   assign:
                       # Return the top title from each table
                       - results[table]: {}
                       - results[table].title: ${queryResult.rows[0].f[0].v}
                       - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

   gcloud workflows deploy workflow-serial-bqjobs \
      --source=workflow-serial-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM ersetzen durch die E-Mail-Adresse des zuvor erstellten Dienstkontos.

   Sie sollten bereits sowohl die roles/bigquery.jobUser als auch die roles/logging.logWriter IAM-Rollen für den Dienst Konto.

Workflow ausführen und mehrere Abfragen nacheinander ausführen

Bei der Ausführung eines Workflows wird die aktuelle Workflowdefinition ausgeführt, die dem Workflow zugeordnet ist.

Console

1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

   Zur Seite "Workflows"

2. Wählen Sie auf der Seite Workflows workflow-serial-bqjobs, um die zugehörige Detailseite aufzurufen.

3. Klicken Sie auf der Seite Workflow-Details auf Ausführen.

4. Klicken Sie noch einmal auf Ausführen.

5. Sehen Sie sich die Ergebnisse des Workflows im Bereich Ausgabe an.

gcloud

1. Öffnen Sie ein Terminalfenster.

2. Führen Sie den Workflow aus:

    gcloud workflows run workflow-serial-bqjob

Die Ausführung des Workflows sollte etwa ein bis fünfmal so viele der vorherigen Ausführungszeit. Das Ergebnis enthält alle Tabellen und sieht in etwa so aus: Folgendes:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Einen Workflow bereitstellen und ausführen, der mehrere Abfragen parallel ausführt

Anstatt fünf Abfragen nacheinander auszuführen, können Sie die Abfragen in einige Änderungen vornehmen:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

• Ein parallel-Schritt ermöglicht die parallele Ausführung jeder Iteration der for-Schleife.

• Die Variable results ist als shared deklariert, wodurch sie Folgendes ermöglicht: durch einen Zweig beschreibbar sein und das Ergebnis jeder Verzweigung kann an diesen angehängt werden.

Console

1. Öffnen Sie in der Google Cloud Console die Seite Workflows.

   Zur Seite "Workflows"

2. Klicken Sie auf Erstellen.

3. Geben Sie einen Namen für den neuen Workflow ein, z. B. workflow-parallel-bqjobs.

4. Wählen Sie eine geeignete Region aus, z. B. us-central1.

5. Wählen Sie das zuvor erstellte Dienstkonto aus.

6. Klicken Sie auf Weiter.

7. Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

8. Klicken Sie auf Bereitstellen.

9. Klicken Sie auf der Seite Workflow-Details auf Ausführen.

10. Klicken Sie noch einmal auf Ausführen.

11. Sehen Sie sich die Ergebnisse des Workflows im Bereich Ausgabe an.

gcloud

1. Öffnen Sie ein Terminal und erstellen Sie eine Quellcodedatei für Ihren Workflow:

   touch workflow-parallel-bqjobs.yaml
   

2. Kopieren Sie den folgenden Workflow in Ihre Quellcodedatei:

   main:
       steps:
       - init:
           assign:
               - results : {} # result from each iteration keyed by table name
               - tables:
                   - 201201h
                   - 201202h
                   - 201203h
                   - 201204h
                   - 201205h
       - runQueries:
           parallel:
               shared: [results]
               for:
                   value: table
                   in: ${tables}
                   steps:
                   - logTable:
                       call: sys.log
                       args:
                           text: ${"Running query for table " + table}
                   - runQuery:
                       call: googleapis.bigquery.v2.jobs.query
                       args:
                           projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                           body:
                               useLegacySql: false
                               useQueryCache: false
                               timeoutMs: 30000
                               # Find top 100 titles with most views on Wikipedia
                               query: ${
                                   "SELECT TITLE, SUM(views)
                                   FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                   WHERE LENGTH(TITLE) > 10
                                   GROUP BY TITLE
                                   ORDER BY SUM(VIEWS) DESC
                                   LIMIT 100"
                                   }
                       result: queryResult
                   - returnResult:
                       assign:
                           # Return the top title from each table
                           - results[table]: {}
                           - results[table].title: ${queryResult.rows[0].f[0].v}
                           - results[table].views: ${queryResult.rows[0].f[1].v}
       - returnResults:
           return: ${results}

3. Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

   gcloud workflows deploy workflow-parallell-bqjobs \
      --source=workflow-parallel-bqjobs.yaml \
      --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
   

   MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM ersetzen durch die E-Mail-Adresse des zuvor erstellten Dienstkontos.

4. Führen Sie den Workflow aus:

    gcloud workflows run workflow-parallel-bqjobs

Das Ergebnis ähnelt der vorherigen Ausgabe, aber die Workflowausführung etwa 20 Sekunden oder weniger.

Bereinigen

Wenn Sie ein neues Projekt für diese Anleitung erstellt haben, löschen Sie das Projekt. Wenn Sie ein vorhandenes Projekt verwendet haben und es beibehalten möchten, ohne die Änderungen in dieser Anleitung hinzuzufügen, löschen Sie die für die Anleitung erstellten Ressourcen.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

• Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
• Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

   Zur Seite „Ressourcen verwalten“

2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Anleitungsressourcen löschen

Löschen Sie die in dieser Anleitung erstellten Workflows:

gcloud workflows delete WORKFLOW_NAME

Nächste Schritte

• Weitere Informationen zu parallelen Schritten finden Sie unter Parallele Schritte ausführen.
• Weitere Informationen zu Workflow-Connectors finden Sie unter Informationen zu Connectors.
• Weitere Informationen zu Workflows finden Sie unter Workflowübersicht.