Executar vários jobs do BigQuery em paralelo

O BigQuery hospeda vários conjuntos de dados públicos disponíveis ao público em geral para consulta. Neste tutorial, você criará um fluxo de trabalho que executa vários jobs de consulta do BigQuery em paralelo, demonstrando uma melhoria no desempenho em comparação com a execução dos jobs em série, um após o outro.

Objetivos

Neste tutorial, você aprenderá a:

Execute uma consulta em um conjunto de dados público da Wikipédia para determinar os títulos mais visualizados em um mês específico.
Implantar e executar um fluxo de trabalho que execute vários jobs de consulta do BigQuery em série, um após o outro.
Implantar e executar um fluxo de trabalho que execute os jobs do BigQuery usando a iteração paralela, em que loops for comuns são executados em paralelo.

É possível executar os comandos a seguir no console do Google Cloud ou usando a Google Cloud CLI no seu terminal ou no Cloud Shell.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

As restrições de segurança definidas pela sua organização podem impedir que você conclua as etapas a seguir. Para informações sobre solução de problemas, consulte Desenvolver aplicativos em um ambiente restrito do Google Cloud.

Console

Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Ative a API Workflows.

Ative a API

Crie uma conta de serviço:

No Console do Google Cloud, acesse a página Criar conta de serviço.
Acesse "Criar conta de serviço"
Selecione o projeto.
No campo Nome da conta de serviço, insira um nome. O Console do Google Cloud preenche o campo ID da conta de serviço com base nesse nome.

No campo Descrição da conta de serviço, insira uma descrição. Por exemplo, Service account for quickstart.
Clique em Criar e continuar.
Conceda os papéis a seguir à conta de serviço: BigQuery > BigQuery Job User, Logging > Logs Writer

Para conceder um papel, encontre a lista Selecionar um papel e escolha uma opção.

Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.

Observação: o campo Papel afeta quais recursos a conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente. Em ambientes de produção, não conceda os papéis de proprietário, editor ou visualizador. Em vez disso, conceda um papel predefinido ou um papel personalizado que atenda às suas necessidades.
Clique em Continuar.
Clique em Concluído para terminar a criação da conta de serviço.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Ative a API Workflows.

Ative a API

Crie uma conta de serviço:

No Console do Google Cloud, acesse a página Criar conta de serviço.
Acesse "Criar conta de serviço"
Selecione o projeto.
No campo Nome da conta de serviço, insira um nome. O Console do Google Cloud preenche o campo ID da conta de serviço com base nesse nome.

No campo Descrição da conta de serviço, insira uma descrição. Por exemplo, Service account for quickstart.
Clique em Criar e continuar.
Conceda os papéis a seguir à conta de serviço: BigQuery > BigQuery Job User, Logging > Logs Writer

Para conceder um papel, encontre a lista Selecionar um papel e escolha uma opção.

Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.

Observação: o campo Papel afeta quais recursos a conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente. Em ambientes de produção, não conceda os papéis de proprietário, editor ou visualizador. Em vez disso, conceda um papel predefinido ou um papel personalizado que atenda às suas necessidades.
Clique em Continuar.
Clique em Concluído para terminar a criação da conta de serviço.

gcloud

Faça login na sua Conta do Google.

Se você ainda não tiver uma, inscreva-se agora.

Instale a CLI do Google Cloud.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um projeto do Google Cloud.

Crie um projeto do Google Cloud:
```
gcloud projects create PROJECT_ID
```
Substitua PROJECT_ID por um nome para o projeto do Google Cloud que você está criando.
Selecione o projeto do Google Cloud que você criou:
```
gcloud config set project PROJECT_ID
```
Substitua PROJECT_ID pelo nome do projeto do Google Cloud.

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Ative a API Workflows:

gcloud services enable workflows.googleapis.com

Configure a autenticação:

Crie a conta de serviço:
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Substitua SERVICE_ACCOUNT_NAME por um nome para a conta de serviço.
Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/bigquery.jobUser, roles/logging.logWriter
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
```
Substitua:
- SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
- PROJECT_ID: o ID do projeto em que você criou a conta de serviço
- ROLE: o papel a ser concedido
Observação: a flag --role afeta quais recursos sua conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente. Em ambientes de produção, não conceda os papéis de proprietário, editor ou visualizador. Em vez disso, conceda um papel predefinido ou um papel personalizado que atenda às suas necessidades.

Instale a CLI do Google Cloud.

Para inicializar a CLI gcloud, execute o seguinte comando:

gcloud init

Crie ou selecione um projeto do Google Cloud.

Crie um projeto do Google Cloud:
```
gcloud projects create PROJECT_ID
```
Substitua PROJECT_ID por um nome para o projeto do Google Cloud que você está criando.
Selecione o projeto do Google Cloud que você criou:
```
gcloud config set project PROJECT_ID
```
Substitua PROJECT_ID pelo nome do projeto do Google Cloud.

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Ative a API Workflows:

gcloud services enable workflows.googleapis.com

Configure a autenticação:

Crie a conta de serviço:
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Substitua SERVICE_ACCOUNT_NAME por um nome para a conta de serviço.
Conceda papéis à conta de serviço. Execute uma vez o seguinte comando para cada um dos seguintes papéis do IAM: roles/bigquery.jobUser, roles/logging.logWriter
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=ROLE
```
Substitua:
- SERVICE_ACCOUNT_NAME: o nome da conta de serviço.
- PROJECT_ID: o ID do projeto em que você criou a conta de serviço
- ROLE: o papel a ser concedido
Observação: a flag --role afeta quais recursos sua conta de serviço pode acessar no projeto. É possível revogar esses papéis ou conceder outros papéis posteriormente. Em ambientes de produção, não conceda os papéis de proprietário, editor ou visualizador. Em vez disso, conceda um papel predefinido ou um papel personalizado que atenda às suas necessidades.

execute um job de consulta do BigQuery

No BigQuery, é possível executar um job de consulta interativa (sob demanda). Para mais informações, consulte Como executar jobs de consulta interativos e em lote.

Console

No Console do Google Cloud, acesse a página BigQuery.

Acessar o BigQuery

Digite a seguinte consulta SQL do BigQuery na área de texto do Editor de consultas:

SELECT TITLE, SUM(views)
FROM `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY TITLE
ORDER BY SUM(views) DESC
LIMIT 100

Clique em Executar.

bq

No seu terminal, insira o seguinte comando bq query para executar uma consulta interativa usando a sintaxe SQL padrão:

bq query \
--use_legacy_sql=false \
'SELECT
  TITLE, SUM(views)
FROM
  `bigquery-samples.wikipedia_pageviews.201207h`
GROUP BY
  TITLE
ORDER BY
  SUM(views) DESC
LIMIT 100'

Isso executa uma consulta que retorna os 100 principais títulos da Wikipédia com mais visualizações em um mês específico e grava a saída em uma tabela temporária.

Observe quanto tempo a consulta leva para ser executada.

Implantar um fluxo de trabalho que execute várias consultas em série

Uma definição de fluxo de trabalho é composta por uma série de etapas descritas usando a sintaxe de fluxos de trabalho. Depois de criar um fluxo de trabalho, você o implanta para disponibilizá-lo para execução. A etapa de implantação também valida que o arquivo de origem pode ser executado.

O fluxo de trabalho a seguir define uma lista de cinco tabelas para executar uma consulta usando o conector do BigQuery do Workflows. As consultas são executadas em série, uma após a outra, e os títulos mais visualizados de cada tabela são salvos em um mapa de resultados.

Console

No console do Google Cloud, acesse a página Fluxos de trabalho.

Acessar fluxos de trabalho
Clique em Criar.
Insira um nome para o novo fluxo de trabalho, como workflow-serial-bqjobs.
Escolha uma região apropriada; por exemplo: us-central1.
Selecione a conta de serviço que você criou anteriormente.

Você já deve ter concedido os papéis do IAM BigQuery > BigQuery Job User e Logging > Gravador de registros à conta de serviço.
Clique em Próxima.

No editor de fluxo de trabalho, insira a seguinte definição para seu fluxo de trabalho:

main:
    steps:
    - init:
        assign:
            - results : {} # result from each iteration keyed by table name
            - tables:
                - 201201h
                - 201202h
                - 201203h
                - 201204h
                - 201205h
    - runQueries:
        for:
            value: table
            in: ${tables}
            steps:
            - logTable:
                call: sys.log
                args:
                    text: ${"Running query for table " + table}
            - runQuery:
                call: googleapis.bigquery.v2.jobs.query
                args:
                    projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                    body:
                        useLegacySql: false
                        useQueryCache: false
                        timeoutMs: 30000
                        # Find top 100 titles with most views on Wikipedia
                        query: ${
                            "SELECT TITLE, SUM(views)
                            FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                            WHERE LENGTH(TITLE) > 10
                            GROUP BY TITLE
                            ORDER BY SUM(VIEWS) DESC
                            LIMIT 100"
                            }
                result: queryResult
            - returnResult:
                assign:
                    # Return the top title from each table
                    - results[table]: {}
                    - results[table].title: ${queryResult.rows[0].f[0].v}
                    - results[table].views: ${queryResult.rows[0].f[1].v}
    - returnResults:
        return: ${results}

Selecione Implantar.

gcloud

Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:
```
touch workflow-serial-bqjobs.yaml
```

Copie o fluxo de trabalho a seguir para seu arquivo de código-fonte:

main:
    steps:
    - init:
        assign:
            - results : {} # result from each iteration keyed by table name
            - tables:
                - 201201h
                - 201202h
                - 201203h
                - 201204h
                - 201205h
    - runQueries:
        for:
            value: table
            in: ${tables}
            steps:
            - logTable:
                call: sys.log
                args:
                    text: ${"Running query for table " + table}
            - runQuery:
                call: googleapis.bigquery.v2.jobs.query
                args:
                    projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                    body:
                        useLegacySql: false
                        useQueryCache: false
                        timeoutMs: 30000
                        # Find top 100 titles with most views on Wikipedia
                        query: ${
                            "SELECT TITLE, SUM(views)
                            FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                            WHERE LENGTH(TITLE) > 10
                            GROUP BY TITLE
                            ORDER BY SUM(VIEWS) DESC
                            LIMIT 100"
                            }
                result: queryResult
            - returnResult:
                assign:
                    # Return the top title from each table
                    - results[table]: {}
                    - results[table].title: ${queryResult.rows[0].f[0].v}
                    - results[table].views: ${queryResult.rows[0].f[1].v}
    - returnResults:
        return: ${results}

Implante o fluxo de trabalho digitando o seguinte comando:
```
gcloud workflows deploy workflow-serial-bqjobs \
   --source=workflow-serial-bqjobs.yaml \
   --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
```
Substitua MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM pelo e-mail da conta de serviço que você criou anteriormente.

Você já deve ter concedido os papéis do IAM roles/bigquery.jobUser e roles/logging.logWriter à conta de serviço.

Executar o fluxo de trabalho e várias consultas em série

Quando um fluxo de trabalho é executado, a definição atual associada a ele também é.

Console

No console do Google Cloud, acesse a página Fluxos de trabalho.

Acessar fluxos de trabalho
Na página Fluxos de trabalho, selecione o fluxo de trabalho workflow-serial-bqjobs para acessar a página de detalhes.
Na página Detalhes do fluxo de trabalho, clique em Executar.
Clique em Executar novamente.
Veja os resultados do fluxo de trabalho no painel Saída.

gcloud

Abra um terminal.

Execute o fluxo de trabalho:

 gcloud workflows run workflow-serial-bqjob

A execução do fluxo de trabalho leva aproximadamente um minuto ou cinco vezes o tempo de execução anterior. O resultado incluirá cada tabela e será semelhante ao seguinte:

{
  "201201h": {
    "title": "Special:Search",
    "views": "14591339"
  },
  "201202h": {
    "title": "Special:Search",
    "views": "132765420"
  },
  "201203h": {
    "title": "Special:Search",
    "views": "123316818"
  },
  "201204h": {
    "title": "Special:Search",
    "views": "116830614"
  },
  "201205h": {
    "title": "Special:Search",
    "views": "131357063"
  }
}

Implantar e executar um fluxo de trabalho que executa várias consultas em paralelo

Em vez de executar cinco consultas em sequência, é possível executá-las em paralelo fazendo algumas alterações:

 - runQueries:
    parallel:
        shared: [results]
        for:
            value: table
            in: ${tables}

Uma etapa parallel permite que cada iteração da repetição for seja executada em paralelo.
A variável results é declarada como shared, o que permite que ela seja gravável por uma ramificação, e o resultado de cada ramificação pode ser anexado a ela.

Console

No console do Google Cloud, acesse a página Fluxos de trabalho.

Acessar fluxos de trabalho
Clique em Criar.
Insira um nome para o novo fluxo de trabalho, como workflow-parallel-bqjobs.
Escolha uma região apropriada; por exemplo: us-central1.
Selecione a conta de serviço que você criou anteriormente.
Clique em Próxima.

No editor de fluxo de trabalho, insira a seguinte definição para seu fluxo de trabalho:

main:
    steps:
    - init:
        assign:
            - results : {} # result from each iteration keyed by table name
            - tables:
                - 201201h
                - 201202h
                - 201203h
                - 201204h
                - 201205h
    - runQueries:
        parallel:
            shared: [results]
            for:
                value: table
                in: ${tables}
                steps:
                - logTable:
                    call: sys.log
                    args:
                        text: ${"Running query for table " + table}
                - runQuery:
                    call: googleapis.bigquery.v2.jobs.query
                    args:
                        projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                        body:
                            useLegacySql: false
                            useQueryCache: false
                            timeoutMs: 30000
                            # Find top 100 titles with most views on Wikipedia
                            query: ${
                                "SELECT TITLE, SUM(views)
                                FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                WHERE LENGTH(TITLE) > 10
                                GROUP BY TITLE
                                ORDER BY SUM(VIEWS) DESC
                                LIMIT 100"
                                }
                    result: queryResult
                - returnResult:
                    assign:
                        # Return the top title from each table
                        - results[table]: {}
                        - results[table].title: ${queryResult.rows[0].f[0].v}
                        - results[table].views: ${queryResult.rows[0].f[1].v}
    - returnResults:
        return: ${results}

Selecione Implantar.
Na página Detalhes do fluxo de trabalho, clique em Executar.
Clique em Executar novamente.
Veja os resultados do fluxo de trabalho no painel Saída.

gcloud

Abra um terminal e crie um arquivo de código-fonte para seu fluxo de trabalho:
```
touch workflow-parallel-bqjobs.yaml
```

Copie o fluxo de trabalho a seguir para seu arquivo de código-fonte:

main:
    steps:
    - init:
        assign:
            - results : {} # result from each iteration keyed by table name
            - tables:
                - 201201h
                - 201202h
                - 201203h
                - 201204h
                - 201205h
    - runQueries:
        parallel:
            shared: [results]
            for:
                value: table
                in: ${tables}
                steps:
                - logTable:
                    call: sys.log
                    args:
                        text: ${"Running query for table " + table}
                - runQuery:
                    call: googleapis.bigquery.v2.jobs.query
                    args:
                        projectId: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                        body:
                            useLegacySql: false
                            useQueryCache: false
                            timeoutMs: 30000
                            # Find top 100 titles with most views on Wikipedia
                            query: ${
                                "SELECT TITLE, SUM(views)
                                FROM `bigquery-samples.wikipedia_pageviews." + table + "`
                                WHERE LENGTH(TITLE) > 10
                                GROUP BY TITLE
                                ORDER BY SUM(VIEWS) DESC
                                LIMIT 100"
                                }
                    result: queryResult
                - returnResult:
                    assign:
                        # Return the top title from each table
                        - results[table]: {}
                        - results[table].title: ${queryResult.rows[0].f[0].v}
                        - results[table].views: ${queryResult.rows[0].f[1].v}
    - returnResults:
        return: ${results}

Implante o fluxo de trabalho digitando o seguinte comando:
```
gcloud workflows deploy workflow-parallell-bqjobs \
   --source=workflow-parallel-bqjobs.yaml \
   --service-account=MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM
```
Substitua MY_SERVICE_ACCOUNT@MY_PROJECT.IAM.GSERVICEACCOUNT.COM pelo e-mail da conta de serviço que você criou anteriormente.

Execute o fluxo de trabalho:

 gcloud workflows run workflow-serial-bqjob

O resultado será semelhante ao resultado anterior, mas a execução do fluxo de trabalho leva aproximadamente vinte segundos ou menos.

Limpar

Se você criou um novo projeto para este tutorial, exclua o projeto. Se você usou um projeto atual e quer mantê-lo sem as alterações incluídas neste tutorial, exclua os recursos criados para o tutorial.

Exclua o projeto

O jeito mais fácil de evitar cobranças é excluindo o projeto que você criou para o tutorial.

Para excluir o projeto:

Cuidado: excluir um projeto tem os seguintes efeitos:

Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

No Console do Google Cloud, acesse a página Gerenciar recursos.
Acessar "Gerenciar recursos"
Na lista de projetos, selecione o projeto que você quer excluir e clique em Excluir .
Na caixa de diálogo, digite o ID do projeto e clique em Encerrar para excluí-lo.

Excluir recursos do tutorial

Exclua os fluxos de trabalho criados neste tutorial:

gcloud workflows delete WORKFLOW_NAME

A seguir

Para saber mais sobre etapas paralelas, consulte Executar etapas paralelas.
Para saber mais sobre os conectores do Workflows, consulte Noções básicas sobre conectores.
Para saber mais sobre Workflows, consulte a Visão geral de fluxos de trabalho.